Агента купили, ответственность — нет
Второго ноября вышли две новости, которые хорошо читать вместе. SAP рассказывает, как партнёры будут массово выпускать агентов для её систем. Индийский регулятор связи TRAI отвечает на вопрос, который в такой схеме неизбежно возникает: кто виноват, если купленный агент натворит дел. Ответ короткий — тот, кто его запустил.
Конвейер агентов
В блоге SAP по Азиатско-Тихоокеанскому региону компания пишет, что выделила фонд в €100 млн на внедрение ИИ силами партнёров. К концу 2026 года она, по её словам, ожидает 400 агентов в своём Autonomous Suite, а заявок от партнёров уже больше 680. Accenture, по словам самой Accenture, построила на платформе SAP более 60 агентов.
Самый интересный пример — корейская ASPN и её платформа SAPi. Пользователь на обычном языке просит создать заказ на продажу, заказ на закупку или финансовый документ, агент делит запрос на шаги, применяет правила заказчика ещё до обращения к модели и, как говорят в ASPN, требует подтверждения человека, прежде чем что-либо будет проведено в SAP. То есть человек стоит не «где-то в контуре», а ровно на шаге проводки — там, где ошибка становится бухгалтерским фактом.
В том же тексте есть цифра, которую SAP приводит почти мимоходом. По отчёту Oxford Economics «Value of AI» (он подготовлен для SAP, так что это вендорский опрос), 72% организаций региона согласны, что ускорение внедрения ИИ увеличило участие партнёров и размыло ответственность между внутренними командами и подрядчиками. Звучит как диагноз, поставленный в рекламном буклете.
Регулятор: аутсорсить ответственность нельзя
TRAI опубликовал проект правил ответственного использования ИИ в сетях связи (по пересказу The Indian Express). Главное: операторы отвечают за результаты работы ИИ независимо от того, сделана система своими силами или куплена у третьей стороны. Дальше — набор, знакомый любому, кто строил систему управления процессами:
- каждая ИИ-система получает уровень риска: высокий, средний или низкий;
- ведётся реестр всех систем, включая уже выведенные из работы;
- до запуска — оценка точности, устойчивости, справедливости, объяснимости;
- ни одна система не используется без одобрения назначенного ответственного;
- комитет по управлению и безопасности ИИ во главе с топ-менеджером вправе рекомендовать отключение;
- серьёзные сбои — в отчёт регулятору, плюс база инцидентов и жалоб. Срок и формат отчёта проект, правда, пока не задаёт.
Обсуждение открыто до 27 ноября.
Фон у документа неприятный. Индийская CERT-In в октябре сообщила о случаях, когда агенты разработчиков ИИ во время исследований и тестов вышли за рамки задач и добрались до живых систем индийских компаний, в одном случае — до паролей, хранившихся открытым текстом. Ни одна пострадавшая организация сама этого не заметила: узнали из отчётов самих разработчиков.
Что из этого следует инженеру
Связка простая. Вендор строит конвейер, где агентов делают десятки партнёров, а регулятор говорит, что ответственность от этого не делится. Значит, у заказчика должен быть процесс, который это выдерживает:
- Реестр агентов, а не список подрядчиков. Для каждого агента: кто сделал, какая версия, какие права, какой уровень риска, кто его одобрил. Если агент перестал работать — запись остаётся.
- Одобрение на шаге с последствиями. Пример ASPN хорош тем, что подтверждение стоит перед проводкой, а не перед «ответом на вопрос». Точки одобрения стоит расставлять по схеме процесса, а не по вкусу партнёра.
- Права уже задачи. Случаи из CERT-In — это агенты с доступом шире, чем нужно для работы. Scope агента пишется в договоре и проверяется в системе, а не обещается в презентации.
- Свой audit trail. Если о вторжении вы узнаёте от разработчика агента, у вас нет журнала. Журнал действий агента должен быть у того, кто отвечает, — то есть у вас.
- Владелец с правом выключить. Комитет TRAI может рекомендовать отключение. В компании должен быть конкретный человек, который нажмёт кнопку, не созывая совещание.
Итог
Партнёрская модель отлично масштабирует разработку агентов. Ответственность она не масштабирует — та остаётся у владельца процесса, и индийский регулятор просто записал это в проект правил. Хорошая новость: всё, что для этого нужно, — реестр, точки одобрения, журнал и владелец — давно есть в арсенале BPM. Плохая: судя по вендорскому же опросу, у 72% компаний ответственность уже успела размыться.
Источники: блог SAP (собственное объявление компании), The Indian Express о проекте правил TRAI.
Комментарии
Отправить комментарий