EN

Практика внедрения

Как задать пороги приёмки ИИ-пилота до первого запуска

Пошаговый способ согласовать критерий пригодности, критические ошибки, пороги остановки и правило решения для одной корпоративной ИИ-функции.

Порог приёмки ИИ-пилота — это заранее согласованное правило, по которому владелец процесса определяет, можно ли продолжать проверку, нужно ли изменить условия или сценарий следует остановить. Задайте его до первого запуска: тогда команда сможет оценивать одинаковые результаты по одному критерию, а не менять мерку после удачной или неудачной демонстрации.

Универсального допустимого процента ошибок нет. Последствие неверного черновика внутренней справки отличается от ошибочного действия с данными или обязательством перед клиентом. Поэтому порог зависит от конкретной операции, риска и объёма проверки.

1. Ограничьте предмет проверки

Опишите одну повторяемую операцию: что запускает её, какие данные получает функция, кто проверяет результат и что считается готовым. Не объединяйте в одной серии разные роли, наборы источников и версии функции: иначе станет непонятно, какое условие повлияло на результат.

Например, пилот может проверять подготовку проекта протокола встречи. Вход — разрешённая расшифровка; выход — решения, ответственные, сроки и открытые вопросы; проверяющий — руководитель проекта. Отправка участникам остаётся отдельным действием с подтверждением человека.

Состав, роли, источники и ограничения самой функции удобно закрепить в паспорте ИИ-функции. Он задаёт проверяемую конфигурацию, но не заменяет критерии приёмки.

2. Определите пригодный результат через наблюдаемые признаки

Замените слова «хорошо», «точно» и «полезно» на признаки, которые проверяющий может отметить. Для проекта протокола это могут быть:

  • каждое решение подтверждается исходной расшифровкой;
  • у поручения указан ответственный только тогда, когда он назван;
  • срок не придуман и не смешан с датой решения;
  • отсутствующие сведения отмечены как неизвестные;
  • обязательные разделы присутствуют.

Заранее укажите, какие стилистические изменения не влияют на приёмку, а какие исправления считаются существенными. Например, перефразирование несущественно; изменение решения, ответственного или срока — существенная правка.

3. Разделите обычные отклонения и стоп-условия

Составьте два списка.

Существенные отклонения требуют доработки и учёта в метрике: пропущенный раздел, неверный факт или результат, который проверяющий не может принять без исправления.

Критические ошибки останавливают затронутый сценарий до выяснения причины. Их примеры зависят от процесса: раскрытие источника роли, у которой нет доступа; вымышленное обязательство от имени сотрудника; выполнение чувствительного действия без требуемого подтверждения. Не задавайте число таких ошибок «по среднему» — согласуйте, какие события недопустимы независимо от их доли.

В Тау Хаб рабочее место можно настроить с фиксированным согласованным набором ИИ-функций без свободного чата, а для чувствительных действий предусмотреть подтверждение человека. Это помогает сформулировать границы сценария, но каждую конкретную настройку и действие нужно проверить в выбранной конфигурации.

4. Привяжите каждый порог к решению

Заполните таблицу вместе с владельцем процесса, ИТ и ИБ до начала серии.

ПроверкаПорог или правилоЧто делать при нарушении
Критическая ошибкаПеречень событий, которые запрещают продолжать сценарий без разбораОстановить затронутую функцию, сохранить пример и назначить владельца разбора
ПригодностьОбязательные признаки принятого результатаВернуть результат на доработку и отметить конкретный критерий
Существенные правкиОпределение правки и допустимый уровень для данного процессаИзменить настройку или инструкции и повторить сопоставимую серию
Доступ и подтверждениеОбязательные положительные и отрицательные проверки ролиНе расширять использование до прохождения проверки
Объём проверкиМинимальный набор типов задач и правило его завершенияНе принимать решение, пока не проверены обязательные случаи
Расход и времяСопоставимые измерения и пределы, согласованные с владельцемСверить полную конфигурацию и решить, оправдан ли следующий этап

Если нет достаточных прогонов или проверки человеком, результат показателя — «данных недостаточно», а не ноль ошибок. Поля для фиксации времени, существенных правок, принятых операций и фактического расхода LLM есть в рабочей таблице приёмки.

Для выбора самих измерений начните с четырёх показателей для одной операции: эта статья дополняет их заранее заданными пределами и правилами остановки.

5. Проверьте условия до пилота

Перед запуском владелец процесса подтверждает критерии пригодности и существенных правок; ИТ и ИБ — нужные роли, источники и чувствительные действия; команда пилота — набор типовых, пограничных и недостаточных входных данных. Сохраните версии функции и источников, чтобы после изменений не смешать результаты разных условий.

Правила измерения и документирования результатов согласуются с подходом NIST AI RMF Playbook, раздел Measure. Таблица выше — практическая схема Тау Хаб, а не обязательная форма NIST.

6. Зафиксируйте исходы и пересмотр

До серии договоритесь о трёх исходах: продолжить пилот, доработать и повторить проверку или остановить сценарий. Назначьте одного владельца решения, ответственного за исправления и дату пересмотра порогов. Повторите затронутые проверки после изменения модели, источников, прав, инструкции или состава операции.

После серии перенесите фактические значения и основания решения в протокол после ИИ-пилота. Сравнивайте результат с полной стоимостью выбранной конфигурации: платформа, внедрение и использование LLM в Тау Хаб учитываются раздельно, токены оплачиваются отдельно — по ключу заказчика либо через прокси Тау.

Следующий шаг — выбрать одну операцию, назначить проверяющего и до подключения ИИ-функции заполнить порог для критической ошибки, определение пригодности и минимальный набор проверки.