Введение
Нет стандартного шаблона приемки AI-проекта? Как оценить результативность? Как проверить безопасность? В статье представлен полный шаблон критериев приемки AI-проекта, чтобы приемка была основана на четких требованиях.
1. Приемка функциональности
1.1 Базовые функции
| Пункт приемки | Критерий приемки | Метод тестирования |
|---|---|---|
| Все функциональные пункты реализованы | 100% функций, согласованных в контракте, реализованы | Поэтапная проверка по чек-листу функционального тестирования |
| Контроль прав доступа работает | Разные роли видят разный контент | Тестирование с несколькими ролями |
| Потоки данных работают корректно | Данные корректно синхронизируются между системами | Сквозное тестирование процессов |
| Обработка исключений работает корректно | Для исключительных ситуаций предусмотрены уведомления и резервные сценарии | Тестирование исключительных сценариев |
1.2 AI-специфичные функции
| Пункт приемки | Критерий приемки | Метод тестирования |
|---|---|---|
| Распознавание намерений | Точность распознавания ключевых намерений ≥90% | Проверка на 200+ тестовых сценариях |
| Поиск по базе знаний | Recall@10 ≥85% | Оценка на стандартном тестовом наборе |
| Генерация ответов | Точность ответов ≥85% | Ручная разметка 100+ реальных вопросов |
| Передача оператору | Процесс передачи проходит плавно, контекст сохраняется полностью | Моделирование сценариев с низкой уверенностью |
2. Приемка производительности
| Метрика | Нормативное значение | Условия тестирования |
|---|---|---|
| Среднее время ответа | ≤2 секунды | Нормальная нагрузка |
| Время ответа P99 | ≤5 секунд | Нормальная нагрузка |
| Пиковая пропускная способность | ≥ значения, согласованного в контракте | Нагрузочное тестирование |
| Доступность системы | ≥99.9% | Работа в течение 7 дней |
| Использование памяти GPU | ≤ значения, согласованного в контракте | Непрерывная работа |
| Поддержка параллельных пользователей | ≥ согласованного в контракте числа параллельных подключений | Тестирование конкурентной нагрузки |
3. Приемка безопасности
3.1 Безопасность данных
| Пункт приемки | Стандарт | Метод тестирования |
|---|---|---|
| Шифрование передачи данных | TLS 1.2+ | Проверка сетевых пакетов |
| Шифрование хранения данных | AES-256 | Проверка конфигурации |
| Маскирование чувствительных данных | Номер удостоверения личности/телефон/номер банковской карты | 100+ тестовых сценариев |
| Контроль доступа | RBAC + права на уровне документов | Тестирование несанкционированного доступа |
3.2 Безопасность AI
| Пункт приемки | Стандарт | Метод тестирования |
|---|---|---|
| Защита от Prompt-инъекций | Вредоносные инструкции не выполняются | 50+ тестов инъекционных атак |
| Контроль галлюцинаций | Доля галлюцинаций в ключевых сценариях ≤5% | Проверка с ручной разметкой |
| Фильтрация вывода | Запрещенный контент не выводится | Тестирование по чувствительным словам и запрещенному контенту |
| Аудит операций | Все ключевые операции полностью записываются | Проверка полноты журналов |
3.3 Тестирование безопасности
4. Приемка результативности
4.1 Метрики результативности
| Сценарий | Целевой уровень точности | Целевой уровень галлюцинаций |
|---|---|---|
| Ключевые сценарии | ≥95% | ≤3% |
| Общие сценарии | ≥85% | ≤10% |
| Пограничные сценарии | Допускается ответ «не знаю» | — |
4.2 Методы тестирования результативности
| Метод | Объем выборки | Исполнитель |
|---|---|---|
| Автоматизированная оценка | 500+ записей | Техническая команда |
| Оценка с ручной разметкой | 100+ записей | Бизнес-команда |
| Тестирование реальными пользователями | 50+ человек | Целевые пользователи |
| A/B-сравнение | Сравнение со старой системой | Операционная команда |
4.3 Тестирование деградации результативности
При непрерывной работе в течение 7 дней колебание точности не должно превышать ±3%.
5. Приемка документации
| Тип документа | Обязательное содержание |
|---|---|
| Руководство пользователя | Шаги пользовательских операций, скриншоты, часто задаваемые вопросы |
| Руководство по эксплуатации | Архитектура системы, шаги развертывания, метрики мониторинга, план реагирования на инциденты |
| Документация API | Описание интерфейсов, примеры запросов/ответов, коды ошибок |
| Учебные материалы | Обучающие PPT, видеоуроки, контрольные вопросы |
| Управление базой знаний | Процесс обновления документов, шаблоны, стандарты качества |
6. Процесс приемки
```
Предварительная приемка (внутренняя) → Исправление проблем → Официальная приемка (с участием клиента)
↓
Приемка функциональности → Приемка производительности → Приемка безопасности → Приемка результативности → Приемка документации
↓
Отчет о приемке → Список оставшихся проблем → Исправление в установленный срок → Официальный запуск
```
6.1 Критерии успешной приемки
Заключение
При приемке AI-проекта нельзя оценивать только то, «насколько хороший результат». Функциональность, производительность, безопасность и документация одинаково обязательны. Системные критерии приемки позволяют сделать поставку обоснованной, а у обеих сторон формируют единое понимание того, что означает «завершено».
Хотите разработать критерии приемки AI-проекта? Записаться на бесплатную консультацию по приемке