Технологии тестирования программного обеспечения

2.1. Введение.

Понятия процесса программирования качественно изменились.

Производство программ приобрело массовый характер, существенно

увеличились их объем и сложность. Разработка программных комп-

лексов потребовала значительных усилий больших коллективов

специалистов. Программы перестали быть только вычислительными

и начали выполнять важнейшие функции по управлению и обработке

информации в различных отраслях.

Развитие и применение технологий проектирования комплексов

программ приводит к необходимости измерения и сравнения их эф-

фективности прежде всего по степени влияния на качество прог-

раммного продукта.

Обеспечение высокого качества сложных комплексов программ

связано со значительными затратами труда разработчиков. Затра-

ты на создание программ быстро увеличиваются при возрастании

требований, причем для сложных комплексов весьма сложно дос-

тичь высокого качества функционирования, и после обеспечения

общей работоспособности могут понадобится годы труда для полу-

чения необходимых показателей качества. Поэтому уже сегодня

требуются методы и средства, которые позволили бы заметно по-

высить качество программ программ при относительно невысоких

затратах труда.

2.2. Обоснование выбора технологии тестирования.

Как известно, при создании типичного программного проекта

около 50% общего времени и более 50% общей стоимости расходу-

ется на проверку (тестирование) разрабатываемой программы или

системы. Кроме того, доля стоимости тестирования в общей стои-

мости программ имеет тенденцию возрастать при увеличении слож-

ности комплексов программ и повышения требований к их качест-

ву.

Учитывая это, при отработке технологии тестирования прог-

рамм следует четко выделять определенное (по возможности не

очень большое) число правил отладки, обеспечивающих высокое

качество программного продукта и снижающих затраты на его соз-

дание.

Тестирование - это процесс исполнения программы с целью

обнаружения ошибок. Одним из способов изучения поставленного

вопроса является исследование стратегии тестирования, называе-

мой стратегией черного ящика, тестированием с управлением по

данным, или тестированием с управлением по входу-выходу. При

использовании этой стратегии программа рассматривается как

черный ящик. Тестовые данные используются только в соответст-

вии со спецификацией программы (т.е. без учета знаний о ее

внутренней структуре).

При таком подходе обнаружение всех ошибок в программе яв-

ляется критерием исчерпывающего входного тестирования. Послед-

нее может быть достигнуто, если в качестве тестовых наборов

использовать все возможные наборы входных данных. Следователь-

но, мы приходим к выводу, что для исчерпывающего тестирования

программы требуется бесконечное число тестов, а значит постро-

ение исчерпывающего входного теста невозможно. Это подтвержда-

ется двумя аргументами: во-первых, нельзя создать тест, гаран-

тирующий отсутствие ошибок; во-вторых, разработка таких тес-

тов противоречит экономическим требованиям. Поскольку исчерпы-

вающее тестирование исключается, нашей целью должна стать мак-

симизация результативности вложения капиталовложений в тести-

рование (максимизация числа ошибок, обнаруживаемых одним тес-

том). Для этого необходимо рассматривать внутреннюю структуру

программы и делать некоторые разумные, но, конечно, не облада-

ющие полной гарантией достоверности предположения.

Стратегия белого ящика, или стратегия тестирования, управ-

ляемого логикой программы, позволяет исследовать внутреннюю

структуру программы. В этом случае тестирующий получает тесто-

вые данные путем анализа логики программы.

Сравним способ построения тестов при данной стратегии с

исчерпывающим входным тестированием стратегии черного ящика.

Неверно предположение, что достаточно построить такой набор

тестов, в котором каждый оператор исполняется хотя бы один

раз. Исчерпывающему входному тестированию может быть поставле-

но в соответствие исчерпывающее тестирование маршрутов. Подра-

зумевается, что программа проверена полностью, если с помощью

тестов удается осуществить выполнение этой программы по всем

возможным маршрутам ее потока (графа) передач управления.

Последнее утверждение имеет два слабых пункта: во-первых,

число не повторяющих друг друга маршрутов - астрономическое;

во-вторых, даже если каждый маршрут может быть проверен, сама

программа может содержать ошибки (например, некоторые маршруты

пропущены).

В результате всех изложенных выше замечаний можно отме-

тить, что ни исчерпывающее входное тестирование ни исчерпываю-

щее тестирование маршрутов не могут стать полезными стратегия-

ми, потому что оба они не реализуемы. Поэтому реальным путем,

который позволит создать хорошую, но, конечно не абсолютную

стратегию, является сочетание тестирования программы несколь-

кими методами.

2.3. Разработка технологического процесса тестирования.

Если отказаться от тестирования всех путей, то можно пока-

зать, что критерием покрытия является выполнение каждого опе-

ратора программы по крайней мере один раз.

В качестве примера тестирования возьмем модуль Param.

Предназначение модуля - разбирать командную строку с парамет-

рами на отдельные параметры.

Объектом тестирования изберем правило ParamStr объекта

Parameters.

function Parameters.ParamStr(ParamNum : byte) : string;

begin

if ParamNum = 0 then

if Delux then

ParamStr:=''

else

if Lo(DosVersion) >= 3 then

ParamStr:=system.ParamStr(0)

else

ParamStr:=''

else

ParamStr:=OptionStr(ParamNum);

end;

Схема алгоритма этой функции:

--------------------¬

¦ Начало ¦

L---------T----------

¦

/

/ нет

/ParamNum ----------------¬

= 0 / ¦

/ ----------+---------¬

/да ¦ ParamStr = ¦

¦ ¦OptionStr(ParamNum)¦

/ L---------T----------

да / ¦

-<-----------/ Delux ¦

¦ = true / ¦

----------+-------¬ / ¦

¦ ParamStr = '' ¦ /нет ¦

L---------T-------- ¦ ¦

¦ / ¦

¦ / Lo( нет ¦

¦ /DosVersion --------------¬ L--------¬

¦ ) >= 3 / ¦ ¦

¦ / ¦ ¦

¦ /да ¦ ¦

¦ -----------+---------¬ ---------+--------¬ ¦

¦ ¦ ParamStr = System.¦ ¦ ParamStr = '' ¦ ¦

¦ ¦ ParamStr(0) ¦ L--------T--------- ¦

¦ L----------T---------- ¦ ¦

L---------------->+<-------------------+<----------

----------+---------¬

¦ Конец ¦

L--------------------

Рис 2.1.

Табл. 2.1.

г===T==================T===================T====================¬

¦ N ¦ Входные данные ¦Ожидаемый результат¦Полученный результат¦

¦---+------------------+-------------------+--------------------¦

¦ 1 ¦ ParamNum = 1 ¦ ParamStr = ¦ ParamStr = ¦

¦ ¦ ¦OptionStr(ParamNum)¦OptionStr(ParamNum) ¦

¦---+------------------+-------------------+--------------------¦

¦ 2 ¦ ParamNum = 0 ¦ ParamStr = '' ¦ ParamStr = '' ¦

¦ ¦ Delux = true ¦ ¦ ¦

¦---+------------------+-------------------+--------------------¦

¦ 3 ¦ ParamNum = 0 ¦ParamStr = ¦ParamStr = ¦

¦ ¦ Delux = false ¦ System.ParamStr(0)¦ System.ParamStr(0) ¦

¦ ¦ Lo(DosVersion)=3 ¦ ¦ ¦

¦---+------------------+-------------------+--------------------¦

¦ 4 ¦ ParamNum = 0 ¦ParamStr = '' ¦ParamStr = '' ¦

¦ ¦ Delux = false ¦ ¦ ¦

¦ ¦ Lo(DosVersion)=2 ¦ ¦ ¦

L===¦==================¦===================¦====================-

Данный критерий тестирования хуже, чем кажется на первый

взгляд. Например, если условие Lo(DosVersion) >= 3 будет оши-

бочно записано Lo(DosVersion) > 3. При тестировании по данно-

му критерию эта ошибка не будет обнаружена.

Более сильный критерий покрытия логики программы известен

как покрытие решений, или покрытие переходов. Согласно данно-

му критерию должно быть записано достаточное число тестов, та-

кое, что каждое решение на этих тестах примет значение истина

и ложь по крайней мере один раз.

Можно показать, что покрытие решений обычно удовлетворяет

критерию покрытия операторов. Поскольку каждый оператор лежит

на некотором пути, исходящем из оператора перехода, либо из

точки входа программы, при выполнении каждого направления пе-

рехода каждый оператор должен быть выполнен. Следовательно,

тесты приведенные выше подходят и для этого критерия.

Однако существуют исключения, например, оператор case. В

этом операторе возможны не двузначные решения.

CASE условие OF

m1 : оператор1;

m2 : оператор2;

m3 : оператор3

ELSE

m4 : оператор4

END

Критерием для таких случаев является выполнение каждого

возможного результата всех решений по крайней мере один раз.

Лучшим критерием по сравнению с предыдущим является покры-

тие условий. В этом случае записывают число тестов, достаточ-

ное для того, чтобы все возможные результаты каждого условия

в решении выполнялись по крайней мере один раз.

Рассмотрим пример на функции OptionStr.

function Parameters.OptionStr(ParamNum : byte) : string;

var

I, Len : Byte;

begin

Len := 0;

I := OptPosition(ParamNum);

if I <> 0 then

while (I <= SLen) and not (ParStr[I] in OptDelim) do

begin

Inc(Len);

OptionStr[Len] := ParStr[I];

Inc(I);