Управляемая автономия: устройство контроля над AI-агентами
Контроль обычно реализован как сплошное ручное прохождение решений. Такой способ упирается в пропускную способность одного человека и потому ограничивает скорость всей компании.
Руководитель ставит задачу в понятной формулировке: снять с себя операционную нагрузку, сохранив контроль. Формулировка выглядит внутренне противоречивой, поскольку контроль в сложившейся практике осуществляется прохождением: через первое лицо идут все решения определённого класса, и каждое рассматривается лично.
Противоречия здесь нет. Есть отождествление двух разных вещей — контроля над результатом и участия в каждом отдельном действии. Разведение этих понятий и составляет содержание работы по передаче полномочий машине.
Устройство перегрузки
Через руководителя проходит весь спектр решений: от принципиальных, требующих его суждения, до рутинных, отклонение которых исключено самим регламентом. Различия в маршруте между этими классами нет — оба идут одним путём и конкурируют за один ресурс, внимание первого лица.
Пропускная способность этого ресурса конечна. Отсюда два следствия. Скорость компании ограничена скоростью одного человека, и рутина вытесняет принципиальное, поскольку рутины по объёму больше.
Корневое ограничение состоит в отсутствии решающего правила, разделяющего поток. Сформулировать такое правило заранее руководителю трудно по объективной причине: критерии допустимого выработаны практикой и существуют как опыт, а не как заданные пороги. Просьба «опишите, что можно проводить без вас» получает ответ «это зависит» — и ответ этот честен.
Производственная компания, решения проходят через первое лицо. Система фиксирует каждое решение — одобрение, отклонение, параметры — и накапливает их как образец подхода. На массиве выделяются случаи, где решение принимается единообразно и без исключений. По устоявшемуся образцу система предлагает внести подтверждённый случай в перечень допустимого как автоматический; утверждает руководитель. Утверждённое исполняется без его участия, всё за пределами перечня и всё спорное поднимается как исключение. Перечень достраивался на потоке: первые прогоны дали и ошибочные пропуски, и напрасные обращения, правила уточнялись по факту.
Источник: разбор №9, businessintegrator.ru
Три составляющие полномочия
Полномочие, передаваемое машине, описывается тремя элементами. Отсутствие любого из них означает, что полномочие не определено, — и определится оно тогда первым происшествием.
Граница. Установлено, какие случаи машина закрывает самостоятельно и по какому признаку случай становится исключением. Признак формулируется через свойства случая — сумма, тип контрагента, отклонение от типового условия, повторность, — а не через общее пожелание осторожности.
Точка вмешательства. Действие сопровождается возможностью остановки и отмены. Возможность существует до запуска. Проектирование её после первого происшествия обходится дороже и делается в спешке.
Запись основания. Каждое проведённое действие сохраняется с указанием, по какому правилу оно проведено. Это условие и разбора ошибок, и постепенного расширения границы: граница расширяется по накопленным подтверждениям.
Система показывает — решение остаётся за человеком. Вопрос лишь в том, какие решения человек оставляет себе намеренно.
Нормативная опора
Требование человеческого надзора закреплено в действующих документах, и формулировки их полезны как проектная рамка независимо от того, подпадает ли компания под соответствующую юрисдикцию.
Действующие своды правил в области искусственного интеллекта требуют проектировать системы высокого риска так, чтобы за ними был обеспечен действенный надзор людей в течение всего времени применения, включая соответствующие средства взаимодействия человека с системой. Там же названо явление, которое стоит знать управленцу: склонность автоматически полагаться на выдачу системы.
Рамка управления рисками искусственного интеллекта Национального института стандартов и технологий США строится вокруг четырёх функций, где функция управления является сквозной и охватывает остальные три. Международный стандарт ISO/IEC 42001 задаёт требования к системе менеджмента в этой области.
В российской практике опорой служат национальные стандарты — ГОСТ Р 59276-2020 «Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения» и ГОСТ Р 59277-2020 о классификации таких систем, — а также Кодекс этики в сфере искусственного интеллекта, где человек, его права и свободы обозначены как наивысшая ценность при развитии технологии, а уважение автономии и свободы воли человека вынесено в отдельный принцип.
Банк России в докладе ноября 2025 года придерживается технологически нейтральной позиции и отмечает, что искусственный интеллект применяет каждая пятая организация финансового рынка, а ещё треть планирует внедрение в пределах трёх лет.
Отдельное обстоятельство: доверие сверх основания
Явление, названное в нормативных документах, заслуживает внимания в практическом разрезе. По мере того как машина работает без сбоев, проверка со стороны человека становится формальной. Утверждение превращается в нажатие кнопки, и режим предложения по существу перестаёт отличаться от автоматического, сохраняя видимость контроля.
Средство здесь устройственное. Проверка сохраняет содержание, когда человеку показывается основание решения, а не только его результат. Разбор случая с разделением потока решений показал и практическую деталь: часть правил потребовала контекста — одно и то же решение оценивается по условиям, а не по единственному порогу.
Перечень действий, передаваемых машине, с указанием ответственного за каждое. Признак исключения, сформулированный через свойства случая. Порядок остановки и отмены действия. Место хранения записи о проведённом и его основании. Правило обратного движения: при каком уровне ошибок полномочие возвращается на утверждение. Периодичность пересмотра границы.
Как это строится
Передача полномочий машине разворачивается последовательностью из шести шагов. Ни один не требует, чтобы руководитель заранее сформулировал границы допустимого, — они выводятся из его собственных решений.
Первое — разделение потока. Составляется перечень решений, проходящих сегодня через руководителя, и каждое размечается по признаку: исключено ли отклонение самим регламентом. Разметка делается на фактическом потоке за период, а не по памяти.
Второе — режим предложения. Система готовит решение, человек утверждает. Внешне ничего не меняется, а внутри накапливается материал: каждое утверждение и отклонение сохраняется с параметрами случая.
Третье — выделение устойчивых образцов. На накопленном массиве находятся случаи, где решение принимается единообразно и без исключений. По каждому такому образцу система предлагает правило. Утверждает правило человек — это отдельное решение, а не следствие статистики.
Четвёртое — перевод в автоматический режим. Утверждённое исполняется без участия руководителя. Всё за пределами утверждённого и всё спорное поднимается как исключение. Здесь работает автоматизация типовых решений: правило исполняется, отклонение эскалируется.
Пятое — сохранение видимости. Каждое проведённое решение фиксируется с указанием правила, по которому проведено, и остаётся доступным к проверке. Операционная панель показывает проведённое, а не только исключения: контроль сохраняется в полном объёме именно потому, что смотреть можно на всё.
Шестое — обратное движение. Правило, дающее ошибки, возвращается в режим утверждения. Механизм предусматривается до запуска, иначе расширение границы становится односторонним и накапливает риск.
Дальше цикл повторяется: массив пополняется, новые устойчивые образцы предлагаются к утверждению, граница расширяется ступенями. Полномочия при таком устройстве отпускаются по мере того, как правила подтверждаются на потоке, а не по решению, принятому однажды на основании общего впечатления.
Отдельная часть работы приходится на правила, требующие условий: одно и то же решение оценивается по обстоятельствам, а не по единственному порогу. Такие правила выявляются на первых прогонах, когда появляются и ошибочные пропуски, и напрасные обращения к руководителю. Их уточнение — нормальная часть работы, а не признак неудачи.
Business Integrator