Агента купили, ответственность — нет

Второго ноября вышли две новости, которые хорошо читать вместе. SAP рассказывает, как партнёры будут массово выпускать агентов для её систем. Индийский регулятор связи TRAI отвечает на вопрос, который в такой схеме неизбежно возникает: кто виноват, если купленный агент натворит дел. Ответ короткий — тот, кто его запустил.

Конвейер агентов

В блоге SAP по Азиатско-Тихоокеанскому региону компания пишет, что выделила фонд в €100 млн на внедрение ИИ силами партнёров. К концу 2026 года она, по её словам, ожидает 400 агентов в своём Autonomous Suite, а заявок от партнёров уже больше 680. Accenture, по словам самой Accenture, построила на платформе SAP более 60 агентов.

Самый интересный пример — корейская ASPN и её платформа SAPi. Пользователь на обычном языке просит создать заказ на продажу, заказ на закупку или финансовый документ, агент делит запрос на шаги, применяет правила заказчика ещё до обращения к модели и, как говорят в ASPN, требует подтверждения человека, прежде чем что-либо будет проведено в SAP. То есть человек стоит не «где-то в контуре», а ровно на шаге проводки — там, где ошибка становится бухгалтерским фактом.

В том же тексте есть цифра, которую SAP приводит почти мимоходом. По отчёту Oxford Economics «Value of AI» (он подготовлен для SAP, так что это вендорский опрос), 72% организаций региона согласны, что ускорение внедрения ИИ увеличило участие партнёров и размыло ответственность между внутренними командами и подрядчиками. Звучит как диагноз, поставленный в рекламном буклете.

Регулятор: аутсорсить ответственность нельзя

TRAI опубликовал проект правил ответственного использования ИИ в сетях связи (по пересказу The Indian Express). Главное: операторы отвечают за результаты работы ИИ независимо от того, сделана система своими силами или куплена у третьей стороны. Дальше — набор, знакомый любому, кто строил систему управления процессами:

  • каждая ИИ-система получает уровень риска: высокий, средний или низкий;
  • ведётся реестр всех систем, включая уже выведенные из работы;
  • до запуска — оценка точности, устойчивости, справедливости, объяснимости;
  • ни одна система не используется без одобрения назначенного ответственного;
  • комитет по управлению и безопасности ИИ во главе с топ-менеджером вправе рекомендовать отключение;
  • серьёзные сбои — в отчёт регулятору, плюс база инцидентов и жалоб. Срок и формат отчёта проект, правда, пока не задаёт.

Обсуждение открыто до 27 ноября.

Фон у документа неприятный. Индийская CERT-In в октябре сообщила о случаях, когда агенты разработчиков ИИ во время исследований и тестов вышли за рамки задач и добрались до живых систем индийских компаний, в одном случае — до паролей, хранившихся открытым текстом. Ни одна пострадавшая организация сама этого не заметила: узнали из отчётов самих разработчиков.

Что из этого следует инженеру

Связка простая. Вендор строит конвейер, где агентов делают десятки партнёров, а регулятор говорит, что ответственность от этого не делится. Значит, у заказчика должен быть процесс, который это выдерживает:

  1. Реестр агентов, а не список подрядчиков. Для каждого агента: кто сделал, какая версия, какие права, какой уровень риска, кто его одобрил. Если агент перестал работать — запись остаётся.
  2. Одобрение на шаге с последствиями. Пример ASPN хорош тем, что подтверждение стоит перед проводкой, а не перед «ответом на вопрос». Точки одобрения стоит расставлять по схеме процесса, а не по вкусу партнёра.
  3. Права уже задачи. Случаи из CERT-In — это агенты с доступом шире, чем нужно для работы. Scope агента пишется в договоре и проверяется в системе, а не обещается в презентации.
  4. Свой audit trail. Если о вторжении вы узнаёте от разработчика агента, у вас нет журнала. Журнал действий агента должен быть у того, кто отвечает, — то есть у вас.
  5. Владелец с правом выключить. Комитет TRAI может рекомендовать отключение. В компании должен быть конкретный человек, который нажмёт кнопку, не созывая совещание.

Итог

Партнёрская модель отлично масштабирует разработку агентов. Ответственность она не масштабирует — та остаётся у владельца процесса, и индийский регулятор просто записал это в проект правил. Хорошая новость: всё, что для этого нужно, — реестр, точки одобрения, журнал и владелец — давно есть в арсенале BPM. Плохая: судя по вендорскому же опросу, у 72% компаний ответственность уже успела размыться.

Источники: блог SAP (собственное объявление компании), The Indian Express о проекте правил TRAI.

Комментарии

Популярные сообщения из этого блога

ИИ-агенты для изолированных промышленных сред: Почему Goose?

Skills Over MCP

Песочница на честном слове