На главную

DF-ПРО-008 · Как проходит работа

Где ИИ может действовать сам: матрица подтверждений

Редакция Deskforge · 8 ноября 2026 · 5 мин чтения
Где ИИ может действовать сам: матрица подтверждений
Из статьи вы узнаете
  • Три признака для оценки действий ИИ
  • Матрицу автономного допуска на синтетическом примере
  • Точки подтверждения для чтения и записи
  • Правила остановки при неполных или сомнительных данных

ИИ подготовил ответ, запросил запись из закрытой системы и собирается отправить письмо. Эти шаги выглядят как один процесс, но разрешать их одним переключателем нельзя: у чтения, подготовки текста и внешней отправки разные последствия.

Разделите процесс на отдельные действия и для каждого назначьте режим: автоматическое выполнение, проверка результата, явное подтверждение или остановка. Для первичной оценки используйте цену ошибки, обратимость и доступ к закрытым данным либо внешним системам.

Ниже — редакционная матрица Deskforge и синтетический пример. Это рекомендации для адаптации к конкретному процессу, правам и внутренним правилам, а не обязательный стандарт или результат испытаний у клиента. Архитектурный контекст разобран в статье об устройстве ИИ-агента, варианты реализации — на странице автоматизации процессов.

Что должен видеть человек перед практическим использованием результата

OpenAI рекомендует по возможности проверять человеком результаты модели до их практического использования. Это общая рекомендация: источник не задаёт единую схему контроля для всех процессов.

Проверяющему нужны итог, сведения об ограничениях системы и исходные данные для сопоставления. Например, если система сокращает заметки, человеку необходим доступ к исходным заметкам, а не только к полученному резюме.

Редакционная рекомендация: показывайте на одном экране результат, существенные исходные данные, предполагаемую операцию, объект и последствия. Если исходник недоступен или последствия действия неясны, направляйте операцию на остановку до получения недостающих сведений.

Матрица автономного допуска по цене ошибки, обратимости и доступу к данным

Для начальной сортировки используйте редакционное правило, которое нужно адаптировать. Автоматический режим допустим, только если одновременно низка цена ошибки, действие обратимо, не затрагивает закрытые данные и не создаёт внешних последствий. Нарушение хотя бы одного условия переводит действие на проверку, подтверждение или остановку.

Проверка означает, что человек сопоставляет подготовленный результат с исходником, но система ещё ничего не изменяет. Подтверждение требуется непосредственно перед разрешённой операцией чтения, записи или отправки. Остановка применяется, когда неизвестны права, адресат или последствия, не хватает обязательных данных либо необратимое действие нельзя восстановить.

Воспроизводимый пример использует только синтетические данные. Столбцы identity и allowed, включая значения результата, сохранены по проверенному обработчику; режим контроля — редакционная расшифровка для практического применения.

identity allowed Режим контроля
Внутренний черновик: низкая цена ошибки, действие обратимо, используются только синтетические данные, внешней отправки нет true Автоматическое выполнение
Классификация синтетического обращения: фиксированная схема, действие обратимо, доступа к закрытым данным нет true Автоматическое выполнение с последующей выборочной проверкой по правилам процесса
Чтение закрытых клиентских записей: требуется доступ к ограниченным данным и предварительное подтверждение владельца процесса false Явное подтверждение до чтения
Отправка сообщения внешнему получателю: действие выходит за пределы системы и требует проверки содержания человеком false Проверка содержания, затем подтверждение отправки
Удаление рабочей записи: высокая цена ошибки, действие необратимо без резервной копии и требует подтверждения человеком false Остановка без проверенного восстановления; иначе подтверждение перед удалением

Значение false означает отсутствие автономного допуска, а конкретный режим определяется признаками строки. Обработчик воспроизводит только учебную логику. Пример не подтверждает права реального сервиса, работу CRM или бота и не показывает эффект для заказчика.

Где подтверждать чтение и запись через инструменты

Руководство OpenAI по безопасности Agent Builder предписывает включать пользовательское подтверждение каждой операции MCP-инструмента, включая чтение и запись. Требование относится к MCP в Agent Builder и не устанавливает универсальный режим для любых интеграций.

Для своего процесса отдельно перечислите чтение, создание, изменение, отправку и удаление. Возле каждой операции укажите режим, ответственного и момент контроля: проверка подготовленного результата происходит до выполнения, а подтверждение — непосредственно перед обращением к инструменту.

В окне подтверждения полезно показывать название операции, целевую систему, объект и параметры. Общая кнопка продолжения не объясняет, будет ли прочитана запись, изменён документ или удалён объект. Если цель либо параметры изменились после проверки, прежнее подтверждение следует считать недействительным — это редакционный критерий для адаптации.

Как отделить недоверенные данные от управляющих инструкций

OpenAI выделяет отдельный канал риска: недоверенный текст нельзя напрямую помещать в developer-сообщения, поскольку они приоритетнее сообщений пользователя и ассистента. Это утверждение относится к одному каналу атаки и не заменяет другие меры защиты.

Письмо, документ или запись из внешней системы рассматривайте как данные для обработки, а не как распоряжение системе. Редакционная рекомендация — заранее перечислить поля, способные влиять на маршрут, и не позволять произвольному тексту выбирать инструменты, получателей или уровень доступа.

Для проверки добавьте во входной документ фразу, похожую на команду, но не меняйте разрешённые поля маршрута. Если после этого система выбирает другой инструмент, адресата или операцию, остановите выполнение: данные влияют на управление за пределами предусмотренного канала.

Как ограничить передачу данных фиксированной схемой

Фиксированные схемы, перечисления и обязательные поля между узлами ограничивают свободные каналы передачи нежелательных инструкций или данных. По данным OpenAI, структурированный результат и изоляция уменьшают этот риск, но не устраняют его полностью.

В документации Claude описание пользовательского инструмента включает JSON Schema ожидаемых параметров. Такая схема определяет форму входа, однако не подтверждает права на действие, допустимость адресата или правильность результата.

Редакционная рекомендация: оставьте только необходимые поля, задайте допустимые значения и отклоняйте неизвестные параметры. После проверки схемы отдельно проверяйте права, объект и смысл операции. Корректный JSON разрешает перейти к следующей проверке, но не служит разрешением на выполнение.

Почему защитная проверка не заменяет точку остановки

OpenAI называет встроенные проверки пользовательского ввода в Agent Builder первым уровнем защиты, но не безошибочным механизмом. Риск сохраняется, когда произвольный текст влияет на вызовы инструментов, даже при структурировании и изоляции.

По редакционной схеме продолжение допустимо, когда обязательные поля заполнены, параметры соответствуют схеме, цель известна, права проверены и действие имеет автономный допуск. Явное подтверждение запрашивается для предусмотренной операции с закрытыми данными, внешним эффектом или повышенной ценой ошибки.

Останавливайте маршрут, если отсутствует обязательное поле, передан неизвестный параметр, не подтверждены права или адресат, сработала защитная проверка либо необратимое действие нельзя восстановить. Неопределённый результат проверки не следует автоматически трактовать как разрешение.

Зафиксируйте ответственного за спорные случаи и сохраняйте причину остановки. Затем проверьте маршрут на синтетических входах с отсутствующим полем, лишним параметром, закрытыми данными и необратимым действием. Ожидаемые исходы можно оформить по подходу из материала о критериях приёмки программы.

Источники

Назад