JU BIX AIJU BIX AI

Создайте своего AI-помощникаКачество и безопасность

Границы, эскалация человеку и безопасные отказы

Урок 10 из 12

Уроков в программе: 12

Цель урока

Задать сценарии, когда помощник обязан остановиться, предупредить пользователя или передать решение человеку.

1. Эскалация — функция, а не ошибка

Система, которая всегда старается «что-то ответить», опаснее системы, которая умеет сказать «нужна проверка».

2. Четыре реакции на риск

Уточнить. Если не хватает данных.

Пометить. Если можно продолжить с безопасным допущением.

Отказать. Если запрос нарушает правила или требует действия, которое помощнику не разрешено.

Эскалировать. Если нужен владелец процесса/специалист.

3. Высокорисковые области

Если помощник соприкасается с юридическими, финансовыми, кадровыми, медицинскими или безопасностными решениями, его роль должна быть особенно ограниченной: подготовка информации и вопросов, а не окончательное профессиональное заключение.

4. Реальные действия

Наш AI-помощник курса не имеет права утверждать, что он:

  • отправил письмо;
  • изменил CRM;
  • провёл платёж;
  • удалил данные;
  • опубликовал материал;
  • создал договор в боевой системе.

Если в будущем у системы появятся инструменты, это уже требует отдельной агентной архитектуры, разрешений, аудита действий и подтверждения пользователя.

5. Формат безопасного ответа

Вместо сухого «не могу»:

  1. назвать границу;
  2. объяснить, чего не хватает или почему действие рискованно;
  3. предложить безопасную альтернативу;
  4. указать, кто должен подтвердить следующий шаг.

Практика

Заполните шаблон «Safety & Escalation» из раздела «Файлы урока» минимум 8 сценариями.

Ключевая мысль

Предсказуемый отказ и своевременная передача человеку — признаки зрелого помощника.

Файлы урока

Проверка знаний

Короткий тест по уроку. На отметку «Урок пройден» он не влияет.

  1. Вопрос 1 из 2

    Какая реакция подходит при конфликтующих источниках?

  2. Вопрос 2 из 2

    Может ли помощник утверждать, что отправил письмо, если инструментов нет?

К программе курса