Практика внедрения
Как задать пороги приёмки ИИ-пилота до первого запуска
Пошаговый способ согласовать критерий пригодности, критические ошибки, пороги остановки и правило решения для одной корпоративной ИИ-функции.
Порог приёмки ИИ-пилота — это заранее согласованное правило, по которому владелец процесса определяет, можно ли продолжать проверку, нужно ли изменить условия или сценарий следует остановить. Задайте его до первого запуска: тогда команда сможет оценивать одинаковые результаты по одному критерию, а не менять мерку после удачной или неудачной демонстрации.
Универсального допустимого процента ошибок нет. Последствие неверного черновика внутренней справки отличается от ошибочного действия с данными или обязательством перед клиентом. Поэтому порог зависит от конкретной операции, риска и объёма проверки.
1. Ограничьте предмет проверки
Опишите одну повторяемую операцию: что запускает её, какие данные получает функция, кто проверяет результат и что считается готовым. Не объединяйте в одной серии разные роли, наборы источников и версии функции: иначе станет непонятно, какое условие повлияло на результат.
Например, пилот может проверять подготовку проекта протокола встречи. Вход — разрешённая расшифровка; выход — решения, ответственные, сроки и открытые вопросы; проверяющий — руководитель проекта. Отправка участникам остаётся отдельным действием с подтверждением человека.
Состав, роли, источники и ограничения самой функции удобно закрепить в паспорте ИИ-функции. Он задаёт проверяемую конфигурацию, но не заменяет критерии приёмки.
2. Определите пригодный результат через наблюдаемые признаки
Замените слова «хорошо», «точно» и «полезно» на признаки, которые проверяющий может отметить. Для проекта протокола это могут быть:
- каждое решение подтверждается исходной расшифровкой;
- у поручения указан ответственный только тогда, когда он назван;
- срок не придуман и не смешан с датой решения;
- отсутствующие сведения отмечены как неизвестные;
- обязательные разделы присутствуют.
Заранее укажите, какие стилистические изменения не влияют на приёмку, а какие исправления считаются существенными. Например, перефразирование несущественно; изменение решения, ответственного или срока — существенная правка.
3. Разделите обычные отклонения и стоп-условия
Составьте два списка.
Существенные отклонения требуют доработки и учёта в метрике: пропущенный раздел, неверный факт или результат, который проверяющий не может принять без исправления.
Критические ошибки останавливают затронутый сценарий до выяснения причины. Их примеры зависят от процесса: раскрытие источника роли, у которой нет доступа; вымышленное обязательство от имени сотрудника; выполнение чувствительного действия без требуемого подтверждения. Не задавайте число таких ошибок «по среднему» — согласуйте, какие события недопустимы независимо от их доли.
В Тау Хаб рабочее место можно настроить с фиксированным согласованным набором ИИ-функций без свободного чата, а для чувствительных действий предусмотреть подтверждение человека. Это помогает сформулировать границы сценария, но каждую конкретную настройку и действие нужно проверить в выбранной конфигурации.
4. Привяжите каждый порог к решению
Заполните таблицу вместе с владельцем процесса, ИТ и ИБ до начала серии.
| Проверка | Порог или правило | Что делать при нарушении |
|---|---|---|
| Критическая ошибка | Перечень событий, которые запрещают продолжать сценарий без разбора | Остановить затронутую функцию, сохранить пример и назначить владельца разбора |
| Пригодность | Обязательные признаки принятого результата | Вернуть результат на доработку и отметить конкретный критерий |
| Существенные правки | Определение правки и допустимый уровень для данного процесса | Изменить настройку или инструкции и повторить сопоставимую серию |
| Доступ и подтверждение | Обязательные положительные и отрицательные проверки роли | Не расширять использование до прохождения проверки |
| Объём проверки | Минимальный набор типов задач и правило его завершения | Не принимать решение, пока не проверены обязательные случаи |
| Расход и время | Сопоставимые измерения и пределы, согласованные с владельцем | Сверить полную конфигурацию и решить, оправдан ли следующий этап |
Если нет достаточных прогонов или проверки человеком, результат показателя — «данных недостаточно», а не ноль ошибок. Поля для фиксации времени, существенных правок, принятых операций и фактического расхода LLM есть в рабочей таблице приёмки.
Для выбора самих измерений начните с четырёх показателей для одной операции: эта статья дополняет их заранее заданными пределами и правилами остановки.
5. Проверьте условия до пилота
Перед запуском владелец процесса подтверждает критерии пригодности и существенных правок; ИТ и ИБ — нужные роли, источники и чувствительные действия; команда пилота — набор типовых, пограничных и недостаточных входных данных. Сохраните версии функции и источников, чтобы после изменений не смешать результаты разных условий.
Правила измерения и документирования результатов согласуются с подходом NIST AI RMF Playbook, раздел Measure. Таблица выше — практическая схема Тау Хаб, а не обязательная форма NIST.
6. Зафиксируйте исходы и пересмотр
До серии договоритесь о трёх исходах: продолжить пилот, доработать и повторить проверку или остановить сценарий. Назначьте одного владельца решения, ответственного за исправления и дату пересмотра порогов. Повторите затронутые проверки после изменения модели, источников, прав, инструкции или состава операции.
После серии перенесите фактические значения и основания решения в протокол после ИИ-пилота. Сравнивайте результат с полной стоимостью выбранной конфигурации: платформа, внедрение и использование LLM в Тау Хаб учитываются раздельно, токены оплачиваются отдельно — по ключу заказчика либо через прокси Тау.
Следующий шаг — выбрать одну операцию, назначить проверяющего и до подключения ИИ-функции заполнить порог для критической ошибки, определение пригодности и минимальный набор проверки.