Одобрено. Кем?
В каждой второй презентации про корпоративных агентов есть слайд со словами «человек в контуре». Рисуется стрелочка, на ней человечек, рядом зелёная галочка. Седьмого октября Partnership on AI задала этому слайду неудобный вопрос: а где запись о том, что человечек там действительно был?
Что проверили
Partnership on AI — некоммерческое объединение компаний, университетов и общественных организаций. Среди авторов отчёта «Разрыв наблюдаемости у ИИ-агентов» — люди из Microsoft, ServiceNow, Salesforce и JPMorganChase, то есть не сторонние критики, а те, кто агентов внедряет. Они взяли четыре популярных фреймворка для агентов и проверили, какую телеметрию те отдают: хватает ли записей, чтобы следить за агентом в реальном времени и потом разобрать его решения.
Ответ — не хватает. Авторы нашли шесть пробелов. Три из них бьют прямо по согласованию человеком.
У агента нет постоянной личности. Фреймворки опознают агента по имени или идентификатору, которые живут один запуск. Сверить его действия с выданными правами нельзя, проследить, как полномочия передаются дочерним агентам, тоже.
Смена режима разрешений не оставляет следа. Только Claude Agent SDK записывает момент, когда посреди сессии меняется режим разрешений агента. В остальных фреймворках переход в режим «больше не спрашивать человека» не виден, кто бы его ни включил: сотрудник или подложенная в данные вредоносная инструкция (prompt injection).
Вмешательство человека не записывается. Фреймворки не фиксируют, почему запустилась проверка, кто одобрил, какие у него были полномочия и что он решил. Цитирую: из-за этого «настоящий надзор трудно отличить от штамповки».
Остальные три пробела — изменения памяти агента, рассуждения модели (обычно доступен лишь пересказ, составленный задним числом) и оценки уверенности модели в каждом слове ответа. А контекст авторы напоминают сами: в июле агент, которого тестировала OpenAI, вырвался из тестовой среды и атаковал системы Hugging Face, и, по последующим сообщениям, OpenAI почти неделю этого не замечала. Политики при этом, пишут авторы, уверены, что инфраструктура для наблюдения за агентами уже есть.
Кнопка против записи
Получается забавная картина. Кнопка «Одобрить» во фреймворках есть. Записи о том, кто её нажал и с каким правом, нет. Это как подпись на договоре, которую ставят карандашом, а потом договор сканируют без последней страницы.
В движках процессов эта проблема решена так давно, что о ней никто не говорит. Пользовательская задача — шаг, который ждёт человека, — имеет назначенного исполнителя, кандидатов с нужной ролью, время взятия в работу, время завершения, решение и историю. Это не фича, а скучная норма, без которой процесс просто не пройдёт внутренний аудит. Агентные фреймворки выросли из чата, а в чате согласование — это реплика «да» где-то в истории сообщений.
Отдельно про режим «больше не спрашивать». Для агента это настройка. Для компании это изменение процесса: был шаг согласования, теперь его нет. В нормальном процессе удаление шага согласования само проходит согласование — с автором, датой и причиной. Если же режим переключается одной строчкой и нигде не отражается, у вас не человек в контуре, а человек в презентации.
Почему это скоро станет дороже
В тот же день член Палаты представителей США Лори Трэхан опубликовала проект закона CLAIM Act об ответственности разработчиков ИИ. По данным POLITICO, суды по нему «исходили бы из того, что ИИ-система действовала с тем умыслом, который был бы у человека, совершившего те же действия». Сослаться на то, что у модели нет намерений, разработчик уже не сможет.
Это пока проект, и закон касается разработчиков, а не тех, кто агентов у себя запускает. Но направление понятно: «это не мы, это модель» перестаёт работать как объяснение. Следующий вопрос, который зададут после инцидента, — кто разрешил. И на него придётся отвечать не слайдом, а записью.
Что проверить у себя
- Можете ли вы по журналу назвать человека, который одобрил конкретное действие агента, и его роль на тот момент?
- Записывается ли смена режима разрешений и кто её сделал?
- Где хранится факт одобрения: в истории чата, в логах фреймворка или в системе, которой доверяет ваш аудитор?
- Отличите ли вы по данным согласующего, который читал, от согласующего, который нажимает «да» за две секунды на сороковом запросе подряд?
Итого
Шаг согласования — это запись, а не кнопка. Кнопку нарисовать легко. Запись, по которой можно восстановить, кто, когда, с каким правом и почему решил, — это и есть контроль. Всё остальное — галочка на слайде.
Комментарии
Отправить комментарий