Практика внедрения
Как разобрать ошибку ИИ-функции после запуска
Карточка разбора отклонения: сохранить пример, найти причину, ограничить сценарий и подтвердить исправление повторной проверкой.
Когда ИИ-функция уже работает, одного счётчика ошибок недостаточно. Команде нужно понять, что именно произошло, какой сценарий затронут, почему контроль не остановил проблему и какое доказательство позволит возобновить работу. Разбирайте каждый значимый случай по одной карточке — от исходного задания до повторной проверки.
Эта процедура начинается после запуска и дополняет заранее согласованные пороги приёмки ИИ-пилота. Она не заменяет правила реагирования на инциденты вашей организации.
Сначала сохраните пример
Зафиксируйте идентификатор операции, дату и время, версию функции и источников, входные данные в разрешённом для разбора объёме и фактический результат. Отметьте, кто и по какому критерию обнаружил отклонение. Если исходные данные чувствительны, храните их в утверждённом контуре и укажите в карточке ссылку с соответствующими правами, а не копию.
Без версии и проверяемого примера команда рискует исправить не тот сценарий или сравнить результаты, полученные в разных условиях.
Опишите последствие до поиска причины
Разделите карточку на наблюдение и оценку последствий:
| Поле | Что записать |
|---|---|
| Ожидаемый результат | Признак пригодности или стоп-условие, согласованное до запуска |
| Фактический результат | Что функция выдала или какое действие не выполнила |
| Отклонение | Какая конкретная часть не прошла критерий |
| Последствие | Что пришлось исправить, задержать или ограничить; подтверждённые факты отдельно от предположений |
| Область | Одна операция, роль, источник или версия, к которым относится случай |
Не превращайте единичный пример в оценку общей точности или финансового эффекта. Если нужных данных нет, укажите, что последствие пока неизвестно.
Ограничьте затронутый сценарий
Сверьтесь с порогами функции и установленным порядком реагирования. Владелец процесса определяет, можно ли продолжить незатронутые операции; ИТ и ИБ проверяют права, источники и чувствительные действия в пределах своих ролей. Если нарушено критичное условие или границы воздействия неясны, ограничьте затронутую функцию по внутреннему порядку до разбора.
Управляемое рабочее место в Тау Хаб можно настроить с фиксированным согласованным набором ИИ-функций без свободного чата. Такая конфигурация помогает определить область ограничения, но сама по себе не доказывает причину ошибки и не заменяет проверку фактических прав и действий.
Ищите причину по цепочке
Проверьте по порядку:
- Вход и источник. Достаточны ли исходные данные? Действовала ли нужная версия документа или записи?
- Инструкция и критерий. Совпадали ли задание, ожидаемый результат и правило проверки с утверждённым сценарием?
- Роли и границы. Получила ли функция только разрешённые сведения? Было ли чувствительное действие остановлено до подтверждения человека, если оно требовалось?
- Изменения конфигурации. Менялись ли модель, настройки, подключение или состав операции после последней проверки?
- Контроль. Какая проверка обнаружила проблему, какая должна была обнаружить её раньше и почему она не сработала?
Различайте наблюдаемую причину и гипотезу. Если данных недостаточно, назначьте способ проверки и ответственного, вместо того чтобы записывать предположение как вывод.
Запишите исправление и условие возврата
Для каждой причины укажите действие, владельца, срок и проверяемое свидетельство. Это может быть исправление источника или инструкции, изменение роли, сужение сценария либо дополнительное подтверждение. После изменения повторите исходный пример и сопоставимые контрольные случаи, включая отрицательную проверку доступа, если затронуты роли или источники.
Возврат к работе — отдельное решение уполномоченного владельца. В карточке остаются результат повторной проверки, версия конфигурации, разрешённая область и дата следующего пересмотра. Если критерий не пройден, сценарий остаётся ограниченным по принятому порядку.
Иллюстративный пример: функция готовит проект протокола встречи, который отправляет сотрудник. Проверяющий обнаружил, что в одном поручении указан неверный ответственный. Команда сохраняет версию расшифровки и шаблона, ограничивает затронутый тип протокола, проверяет источник и правило извлечения ответственных, затем повторяет исходный и похожие примеры. Этот эпизод не доказывает общую частоту ошибок или экономию времени.
Шаблон карточки разбора
- Идентификатор случая и время:
- Функция, версия и затронутый контур:
- Ожидаемый критерий:
- Наблюдаемый результат и ссылка на защищённый пример:
- Отклонение и подтверждённое последствие:
- Принятое ограничение и ответственный:
- Проверенная причина или оставшаяся гипотеза:
- Исправление, владелец и срок:
- Повторные проверки и их результат:
- Решение о возврате, его владелец и дата пересмотра:
Начните с одного недавнего случая и заполните карточку вместе с владельцем процесса, ИТ и ИБ. Сверьте стоп-условие со статьёй о порогах приёмки и зафиксируйте, какое свидетельство позволит разрешить повторный запуск.