Практика внедрения
Первый месяц ИИ-функции: как вести операционный контроль
Практическая карточка для недельной проверки результатов, изменений доступов и решений после передачи ИИ-функции в эксплуатацию.
Передача ИИ-функции в эксплуатацию не заканчивает проверку. В первый месяц владелец процесса, ИТ и ИБ должны видеть, что менялось, кто проверял работу и на каком основании сценарий продолжает работать. Для этого заведите одну карточку на функцию и обновляйте её по расписанию и после значимых изменений. Это журнал решений команды, а не автоматический мониторинг.
Если функция ещё не передана владельцу, начните с чек-листа перехода к эксплуатации. Здесь описан контроль после передачи. Для одного уже обнаруженного отклонения используйте отдельный порядок разбора ошибки.
Зафиксируйте исходное состояние
В начале эксплуатации запишите:
- функцию, её версию и разрешённый рабочий контур;
- владельца процесса, ответственного ИТ и контакт службы безопасности;
- утверждённые роли и источники данных;
- контрольные примеры и согласованные пороги вмешательства;
- дату первой проверки и периодичность следующих разборов.
Границы функции, состав источников и ожидаемый результат удобно сверить с паспортом ИИ-функции, а правила ролей и подтверждений — с матрицей доступа. Не переносите в журнал копии закрытых данных и секреты: сохраняйте только разрешённый идентификатор или ссылку с нужными правами.
Проводите короткую проверку каждую неделю
Выберите день и проверяйте сопоставимую выборку результатов. Записывайте период и размер выборки, найденные отклонения, существенные правки и решения проверяющего. Если данных мало или примеры нельзя проверить, так и отметьте: отсутствие наблюдений не означает отсутствие ошибок.
В тот же разбор включите изменения ролей и источников, обращения пользователей и расход LLM по доступной выгрузке. Отмечайте версию настройки и кто разрешил изменение. В Тау Хаб набор доступных ИИ-функций для рабочего места можно ограничить заранее согласованным списком; после изменения ролей проверяйте фактические права, включая тест для пользователя, которому доступ не положен.
Ведите запись при каждом значимом изменении
До расширения сценария, смены источника или корректировки ролей сохраните, что изменяется, зачем, кто отвечает и какие контрольные примеры нужно повторить. После изменения внесите результат проверки и решение владельца: продолжить, ограничить или остановить функцию. Если критерий не пройден, оставьте прежнее ограничение и назначьте следующий шаг с ответственным и сроком.
Расходы фиксируйте отдельно от качества результата: платформа, внедрение и LLM — разные части стоимости Тау Хаб; токены оплачиваются отдельно по ключу заказчика либо через прокси Тау. Не записывайте сценарные оценки как фактическую экономию или подтверждённую окупаемость.
Карточка на одну функцию
| Поле | Запись | Момент обновления |
|---|---|---|
| Контур и владелец | Функция, версия, процесс, владелец, ИТ и контакт ИБ | При старте и смене владельца |
| Контрольная выборка | Период, число проверенных результатов, отклонения и существенные правки | На недельном разборе |
| Доступы и источники | Изменения ролей и источников, согласовавший, результат проверки границ | После изменения и на разборе |
| Расход LLM | Период, маршрут и сумма по доступной выгрузке относительно внутреннего лимита | На финансовой сверке |
| Решение и действие | Продолжить, ограничить или остановить; причина, ответственный и срок | После проверки или отклонения |
| Следующий пересмотр | Дата и проверяющий | При закрытии каждой записи |
Не применяйте универсальный допустимый процент ошибок или сумму расходов: пределы зависят от операции, последствий и правил организации. Если обнаружен критичный сбой или неясна область воздействия, действуйте по внутреннему порядку реагирования и ограничьте затронутый сценарий. Возврат к работе фиксируйте отдельно — с результатом повторных проверок и именем уполномоченного владельца.
Начните с одной функции
Назначьте владельца и дату первого разбора, согласуйте размер проверяемой выборки и откройте паспорт функции с матрицей доступа. В конце месяца сравните записи по версиям и изменениям, затем решите, можно ли сохранить сценарий, сузить его или провести новую приёмку. Карточка помогает команде объяснить каждое решение; сама по себе она не подтверждает качество или безопасность.