Цель урока
Проверить agent flow на ограниченном объёме без превращения пилота в неконтролируемый production.
1. Scope пилота
Выберите один тип запросов, одну группу пользователей и ограниченный период/набор тестовых задач. Не расширяйте scope во время пилота без фиксации новой версии.
2. Что измерять
Полезные показатели:
- доля корректных классификаций;
- доля случаев, где найден нужный источник;
- доля draft, принятых без/с небольшими правками;
- число human escalations;
- число tool errors;
- время до draft;
- критические ошибки/запрещённые действия = отдельный стоп-сигнал.
Это показатели пилота, а не обещания экономического эффекта.
3. Baseline
Сравните с текущим ручным процессом: какие шаги делает человек, сколько этапов, где чаще всего возникают задержки/ошибки. Не подменяйте факты оценками AI.
4. Decision after pilot
После пилота возможны четыре решения:
- оставить как помощника/draft flow;
- улучшить и повторить тест;
- добавить один контролируемый write-tool;
- отказаться от agent architecture и вернуться к простому workflow.
Практика
Заполните Pilot Scorecard и сформулируйте go / revise / stop.
Ключевая мысль
Хороший пилот отвечает не «насколько агент впечатляет», а «насколько предсказуемо он работает в заданных границах».