Цель урока
Проверить поведение агента до пилота на реальном процессе.
1. Четыре типа тестов
Happy path: всё заполнено, инструмент работает. Edge case: необычный, но допустимый запрос. Negative/adversarial: попытка вывести agent за scope или заставить игнорировать правила. Failure: timeout, permission error, пустой результат, конфликт данных.
2. Что проверять
Не только качество текста. Проверяйте:
- правильность ветки;
- правильный tool;
- отсутствие запрещённого tool;
- корректность stop condition;
- human escalation;
- формат structured output;
- отсутствие дублирующего действия.
3. Golden cases
Сделайте набор запросов с ожидаемым результатом. Это позволит сравнивать версии агента после изменений инструкций или tools.
4. Safe fallback
Если агент не уверен или tool не доступен, предпочтительный результат — безопасная остановка/эскалация, а не выдуманный факт.
Практика
Создайте минимум 12 тест-кейсов: 5 happy, 3 edge, 2 out-of-scope, 2 tool failure. Зафиксируйте expected vs actual.
Ключевая мысль
Агент считается рабочим не после красивого demo, а после повторяемых тестов и предсказуемых отказов.