Когда агент обязан спросить

15 октября Совет по финансовой стабильности (FSB) опубликовал итоговый отчёт Sound Practices for Responsible Adoption of Artificial Intelligence — 12 практик ответственного внедрения ИИ для финансовых организаций. Консультационный вариант вышел в июне. Совет «настоятельно рекомендует» советам директоров и топ-менеджменту опираться на практики при настройке управления ИИ, риск-менеджмента и контроля. Документ — набор рекомендаций и практический toolkit, а не обязательная норма. Но формулировки про агентов стали жёстче — и это уже не блог-пост вендора, а сигнал глобального стандартосеттера.

Что именно ужесточили

По материалам Reuters (в пересказе CNBC TV18 и Mint), в финальной версии рекомендации по агентному ИИ усилили: учли отзывы на черновик, растущий интерес финансовых организаций и особые риски таких систем. В сценариях с повышенным риском критичен более плотный надзор человека. Компании должны задать чёткие, привязанные к риску условия — триггеры, при которых агент обязан запросить одобрение человека.

Отдельным жестом убрали установку считать ИИ «синтетическими сотрудниками». Вместо этого фирмы должны признать: «агенты ИИ рассуждают не как люди и могут неожиданно истолковать заранее заданные цели». Перевод цитаты по Reuters. Иначе говоря, агента разжаловали из «коллеги» обратно в систему: не HR-профиль и не виртуальный джун, а исполнитель с границей, за которой начинается согласование.

Практика (x) в списке из двенадцати — appropriate and effective human oversight, уместный и действенный надзор человека. Рядом — оценка существенности сценариев, объяснимость, кибер- и ICT-риски, зависимости от сторонних ИИ-поставщиков. FSB отдельно подчёркивает роль совета и топ-менеджмента: выравнивание внедрения ИИ с бизнес-моделью, риск-аппетитом и стратегией. Оговорка остаётся: это не предписание «как выбрать модель», а меню практик под контекст организации.

Соседний сигнал: эксплуатация с уровнями допуска

14 октября SolarWinds объявила Avior — агентную систему для эксплуатации ИТ. По словам компании, опасные действия всегда требуют явного одобрения человека; автономия разбита по уровням риска (risk-tiered autonomy). Каждое действие проходит через риск-гейт, агент наследует права запустившего его пользователя, всё пишется в журнал; есть отслеживание целей, автоматический откат, маскирование данных и доступ к инструментам по принципу наименьших привилегий. Доступ — через программу онбординга с 14 октября; цифр эффекта в релизе нет. Это собственное объявление вендора, не независимый кейс. Но набор контролей совпадает с языком FSB: не «агент-коллега», а допуск, кнопка «утвердить» и audit trail.

Почему это про процессы, а не про «этичный ИИ»

Интересно не морализаторство. Интересно инженерное требование: заранее описать, в какой момент система обязана остановиться и спросить.

Триггер, привязанный к риску, — это шаг процесса с ролью человека, а не надежда, что модель «будет осторожна» в system prompt. Scope агента — не «как у сотрудника», а права запустившего пользователя плюс запрет выходить за engineered limits. Guardrails сидят в маршруте: опасное действие → согласование → запись. Audit trail — не лог чата «агент что-то сделал», а след: какой триггер сработал, кто утвердил, что выполнили, можно ли откатить. Для BPM это родной язык: эскалация по уровню риска, human-in-the-loop на high-impact шагах, журнал для разбора.

Метафора «синтетический сотрудник» удобна для слайдов и опасна для контроля: сотрудник сам решает, когда эскалировать; система должна иметь явные условия, когда эскалация обязательна. FSB прямо говорит: агенты могут истолковать цели иначе, чем задумали авторы. Значит, кнопка стоп и условия её нажатия — часть спецификации, а не «best practice на потом».

Контроль через процесс

Итоговые практики FSB не превращают агента в сотрудника и не обещают, что надзор «как за людьми» сработает. Они требуют другого: в рискованных сценариях — более плотный человеческий надзор и заранее прописанные условия, когда агент обязан спросить. SolarWinds в своём релизе продаёт ту же схему языком эксплуатации. Для инженера процессов сигнал ясный: автономия без эскалации — это не зрелость продукта, а дыра в маршруте. Сначала условия «когда спросить», потом — сколько шагов агенту можно сделать без человека.

Источники: FSB, пресс-релиз, CNBC TV18 / Reuters, Mint / Reuters, SolarWinds Avior.

Комментарии

Популярные сообщения из этого блога

ИИ-агенты для изолированных промышленных сред: Почему Goose?

Skills Over MCP

Песочница на честном слове