от 1000 до 10 000 требований. Какие-то из них можно проверить одновременно, с помощью набора связанных действий. При этом снижается стоимость программы испытаний. Планирование процедур верификации и валидации узлов и компонентов осуществляется еще на ранних стадиях проекта с учетом потребных сроков на проектирование и изготовление стендов и моделей. В ходе верификационных процедур удобно использовать типовые вопросники (чек-листы), составленные и пополняемые с учетом традиций компании и накапливающегося опыта. На этапе валидации завершается процесс разработки системы.
Типы оценок результатов испытаний можно разделить на объективные и субъективные. К объективным данным относят такие, на которые не влияет человек. Субъективные измерения обычно основаны на восприятии и опыте оценщика во время выполнения задач по использованию продукта. Объективные показатели более точны и беспристрастны. Удовлетворенность клиентов, вероятно, является наиболее важной субъективной мерой проверки продукта, которую можно оценить, общаясь непосредственно с пользователями.
Субъективными методами измерения, используемыми в процессе разработки продукта, являются, например, оценка по шкале и методы, основанные на парном сравнении. Для определения рейтинга по шкале оценщику сначала дают инструкции по процедуре оценки продукта, включая пояснения по шкалам оценки, которые должны использоваться для масштабирования каждого свойства. Шкалы интервалов могут различаться по определению конечных точек шкал, количества используемых интервалов. При этом для сравнения продуктов используют следующие варианты оценки:
• число предпочтительных оценок, то есть сумма испытуемых, которые оценили продукт в интервале выше среднего;
• количество непредпочтительных оценок, то есть сумма испытуемых, которые оценили продукт в интервале ниже среднего;
• отношение числа предпочтительных оценок к числу непредпочтительных;
• среднее значение оценок;
• стандартное отклонение оценок.
В методе парного сравнения каждого испытуемого просят сравнить два продукта в выбранной паре с использованием заранее определенной процедуры и определить лучший продукт на основе заданного свойства (например, комфорта или удобства использования). Задача оценки здесь проще по сравнению с оценкой по шкале, поскольку эксперт должен сравнивать только два продукта в каждом испытании, и определять лучший продукт в паре. Основное преимущество метода парного сравнения заключается в том, что он делает задачи оценки субъекта простыми и более точными. Однако, если необходимо оценить несколько продуктов, то оценщик должен пройти через каждую комбинацию из возможных пар и определить лучший продукт в каждой паре, что делает процесс оценки очень трудоемким.
Некоторые примеры типов оценки, проводимой для верификации и валидации продукции, приведены далее:
1. Функциональные