Задать вопрос юристу

Методология тестирования системы

Разработанные теоретические основы по проведению эксперимента (см. гл. 12) в равной степени относятся и к тестированию. Тестирование выступает и как самостоятельный вид исследований, и как этап эксперимента.
В основу проведения любого эксперимента положена «методология эксперимента» — это общие принципы, структура эксперимента, его постановка и последовательность выполнения. Методологию тестирования можно представить в виде последовательности определенных этапов.
Этап I. Разработка (или выбор) методики тестирования в виде комплекса приемов или способов экспериментального исследования, включающего:
а) цели и задачи тестирования;
б) параметры и характеристики системы или ее элементов, подле-жащих измерению, регистрации, опросу;
в) построение модели изучаемого объекта (процесса, функции, системы в целом) тестирования;
г) последовательность автономных испытаний элементов и этапов комплексных испытаний системы;
д) обоснование способов, средств и методов измерения;
е) обоснование необходимой точности и частоты регистрации данных (или количества респондентов в социальных исследованиях);
ж) методы обработки и анализа данных, полученных при испыта-ниях.
Этап И. Составление плана-программы организации тестирования как самостоятельного этапа исследования.
Этап III. Разработка инструкции по исполнению тестирования. Этап IV. Интерпретация результатов и подведение итогов тестиро-вания.
Особое внимание при разработке методики уделяется методам сбора информации и математическим методам обработки и анализа опытных данных. Для сбора информации используют следующие методы.
1. Натурные испытания — различного вида измерения на входе и выходе процессов и системы в целом, которые в большинстве случаев фиксируют скалярные переменные в заданные моменты времени с некоторыми ошибками. Статистические свойства ошибок считаются известными.
2. Генерирование опытных данных на основе вычислительного эксперимента функционирования процессов и системы.
3. Интернирование учетной информации из баз данных (файлы).
4. Сбор учетной информации из документов — носителей тексто-вой информации.
5. Наблюдение как метод прямой регистрации, фиксирование сигналов, событий очевидцем в процессе их протекания.
6. Опрос — вопросно-ответный метод сбора данных, при котором источником информации выступает вербальное общение людей на основе тестов. К разновидностям опроса относятся:
• анкетирование — опосредованный, письменный опрос;
• интервью — метод получения информации по определенной теме путем непосредственного целенаправленного диалога интервьюера с респондентом;
• экспертный опрос — это опрос компетентных лиц;
• социометрический опрос — выявление социально-психологи-ческих проявлений межличностных отношений.
Особое внимание в тестировании уделяется таким методам, как:
• оценка всех видов измерений (первичная обработка результатов);
• математическая обработка и анализ данных (вторичная обработка результатов).
Методы первой группы разработаны теорией случайных ошибок, второй группы — математической статистикой и теорией вероятнос-тей. Теория случайных ошибок позволяет решить следующие основ-ные задачи, которые всегда сопровождают этап обработки результатов тестирования:
1) оценка точности и надежности измерений при данном количе-стве замеров (наблюдений), например, интервальная оценка с помо-щью доверительной вероятности и другие методы;
2) определение минимального количества замеров (наблюдений, опытов, респондентов), гарантирующих требуемую (заданную) точ-ность и надежность измерения, или минимального объема выборки (числа измерений) при заданных значениях доверительного интервала и доверительной вероятности;
3) исключение грубых ошибок ряда с использованием правила трех сигм, критерия В.И. Романовского и других оценок;
4) определение оптимальной зоны измерений или наиболее выгодных условий измерений, которые позволяют получить достоверные данные об изучаемом объекте (условия труда, нагрузка на процесс и другие характеристики);
5) проверка воспроизводимости измерений, а именно их повторяемости в определенных условиях измерения.
Методы решения перечисленных задач подробно изложены в спе-циальной литературе, прежде всего по математической статистике и теории вероятностей, экспериментальным исследованиям, в частно-сти методам планирования эксперимента и имитационному мо-делированию, к которым рекомендуется обратиться при изучении данной темы.
Математическая обработка и анализ результатов тестирования (вторичная обработка) сводятся к двум основным позициям:
1) определение характеристик эффективности, устойчивости, адаптивности и надежности элемента (агрегата) на основе преобразования некоторой выборки, состоящей из совокупности значений х2,..., хп измеряемой величины;
2) установление или проверка математических моделей, описыва-ющих связь между входными и выходными параметрами процесса или системы.
Обработка результатов тестирования в соответствии с концептуальным подходом к параметрическому исследованию систем управления состоит в основном в определении интервала, накрывающего истинное значение искомого параметра с заданной вероятностью.
Сведем вместе описание нескольких моделей определения доверительного интервала, так как этот аппарат рекомендуется для активного использования в исследовании систем управления.
В целом методика проведения того или иного вида тестирования раскрывает способ решения поставленной задачи при испытаниях. В ней оговаривают конкретные условия, необходимые для определения исследуемого параметра (или ряда параметров): необходимые из-мерения, целесообразность применения того или иного математичес-кого аппарата для квалифицированного заключения об изменчивости изучаемого параметра по результатам непосредственных и косвенных измерений.
Кратко остановимся на положении методологии тестирования по подготовке документации для планирования и выполнения экспери-ментальных работ. Планирование пассивного эксперимента ведется в соответствии с выбранными показателями испытаний, а его результаты оформляются, как правило, в виде сетевых графиков, которые дают полное представление о последовательности проведения работ в течение рассматриваемого промежутка времени. Документация на проведение испытаний, называемая программой испытаний, содержит: технические условия испытаний, программу и методику испытаний, методику обработки данных, объем и способы проводимых работ, сроки их выполнения, степень ответственности исполнителей, отчетность и контрольные сроки. Программа испытаний в отличие от календарного плана носит организационно-технический характер.
<< | >>
Источник: Фрейдина Е.В.. Исследование систем управления. 2009

Еще по теме Методология тестирования системы:

  1. Методология тестирования выходов
  2. Методология тестирования вхождений.
  3. Методология тестирования
  4. Методология тестирования
  5. Методология тестирования
  6. Методология тестирования
  7. Методология тестирования генетического компонента выходов
  8. Методология тестирования модели, основанной на точке разворота
  9. Методология тестирования лунных моделей
  10. Методология тестирования нейронного компонента стратегии выходов
  11. Методология тестирования модели на основе обращенного Медленного %К