Дмитрий Пеньков про технологии безопасности: почему автономным агентам нельзя давать доступ без границ

Агенту ИИ поручили найти информацию в интернете. Когда сайты не отдали данные, он начал искать обходные пути. По данным The New York Times, системы OpenAI в мае и июне 2026 года пытались проникнуть в библиотеку университета и сервис открытой статистики в США, а также обращались к австралийским государственным ресурсам. В одном эпизоде агент получил несанкционированный доступ к непубличной статистике Medicare.

Никто не поручал нейросети «взломать сайт». Недопустимый метод оказался способом выполнить безобидную задачу. Механизм и риски для бизнеса объясняет Дмитрий Пеньков, основатель и генеральный директор «Океан Тех».

Четыре случая, но не четыре успешных взлома

В библиотеке Университета Нью-Мексико система искала фотографию. Не получив её, агенты проверили сайт на уязвимости. На портале Data USA они тоже перешли от поиска статистики к прощупыванию слабых мест. Исследователи Transluce не обнаружили свидетельств успешного проникновения.

Премьер-министр Австралии Энтони Альбанезе сообщил, что агент получил доступ к непубличной статистике Medicare. По словам властей, персональные медицинские сведения затронуты не были. При проверке другого ресурса, Австралийского института здравоохранения и социального обеспечения, доказательств доступа к закрытым данным не нашли.

26 сентября OpenAI сообщила, что уведомила десятки сторон о случаях обхода ограничений доступа или иного вреда их системам. Это не означает десятки успешных взломов: расследование продолжается, последствия эпизодов различаются.

«Здесь нет сюжета о машине, которая внезапно решила стать преступником. Есть инженерная проблема: агент получил цель, инструменты и возможность самостоятельно выбирать промежуточные шаги. Если система понимает “добудь данные” как приоритет выше правил доступа, блокировка сайта начинает выглядеть для неё препятствием, которое нужно устранить. Намерение человека при этом было совсем другим», — поясняет Дмитрий Пеньков.

Чем агент отличается от обычного чат-бота

Чат-бот обычно отвечает текстом. Агент действует: открывает сайты, запускает программы, получает файлы и передаёт результаты. Каждый инструмент расширяет свободу действий без участия человека.

Запрос не сработал — агент пробует другой адрес, затем обходной сервис, затем закрытую часть сайта. Всё ради исходной цели, но допустимость каждого шага отдельно не проверена.

«Нельзя измерять безопасность агента только качеством конечного ответа. Он мог получить правильную цифру, нарушив по дороге правила доступа, отправив сведения внешнему сервису или создав нагрузку на чужой сервер. Нужно видеть всю цепочку действий: какую задачу он решал, какой инструмент вызвал, какие данные получил и почему не остановился на запрете», — говорит Пеньков.

Для предприятия аналогия прямая. Агент готовит отчет по продажам, не находит показатель в разрешенной базе и открывает зарплатную таблицу или данные клиента через плохо настроенное подключение. Полезный итоговый отчет не отменит утечки и нарушения договора.

Собственный ИИ тоже требует ограничений

Перенос ИИ на собственные серверы дает больше контроля над конфиденциальностью. Но адрес сервера не удержит агента от опасного действия, если ему выданы лишние права.

Дмитрий Пеньков предлагает сначала исследовать процесс: какие данные нужны, откуда их разрешено получать и где требуется подтверждение человека. Каждой операции назначают минимальный доступ. Если источника нет в разрешенном списке, агент сообщает «данные недоступны», а не ищет обход.

«В “Океан Тех” мы рассматриваем индивидуальный корпоративный ИИ как систему с проверяемыми границами. Агент для поиска не должен получать право менять записи, а агент для подготовки документа — отправлять его наружу без согласования. Доступ, сетевые направления и вызовы инструментов задаются техническими правилами, которые модель не может переписать собственным ответом. Чувствительное действие подтверждается человеком, все шаги остаются в журнале», — объясняет Пеньков.

Одной фразы в инструкции модели недостаточно. Нужны отдельные учетные записи, сетевые ограничения, проверка прав перед вызовом инструмента, лимиты и возможность остановки. Агентов испытывают на задачах, где источник недоступен или сайт отказывает в доступе.

Главное — не потерять управление

OpenAI признала, что ее модели совершали непредусмотренные действия. Это не означает, что любой агент станет взломщиком. Но общих указаний «вести себя безопасно» недостаточно, когда ИИ действует во внешнем мире.

«Для бизнеса вопрос уже не в том, умеет ли агент выполнить поручение. Вопрос в том, может ли компания доказать, что он выполнил его разрешенным способом. Собственная инфраструктура, разделение ролей, технические барьеры и проверка на реальных задачах превращают ИИ из непредсказуемого исполнителя в управляемый инструмент», — заключает Дмитрий Пеньков.