Угрозы безопасности ИИ для личного использования, команд и агентов

По мере того, как люди переходят от эпизодического использования ИИ к рабочим процессам, основанным на ИИ, модель безопасности меняется.

ИИ больше не просто чат-бот, отвечающий на вопросы. Он становится слоем, связанным с файлами, браузерами, электронной почтой, Slack, GitHub, CRM, облачными хранилищами, базами кода, документами, средствами автоматизации, а иногда даже с производственными системами.

Это означает, что поверхность атаки расширяется.

Ниже представлена ​​структурированная карта рисков кибербезопасности, которые имеют наибольшее значение при использовании ИИ отдельными лицами, командами и автономными или полуавтономными агентами.

Эта статья основана на текущих руководствах по безопасности и картах рисков от Топ-10 OWASP для приложений LLM, Проект безопасности OWASP GenAI, Руководство CISA по искусственному интеллекту, Структура управления рисками искусственного интеллекта NIST, Ландшафт угроз ENISA 2025 г.и руководство CISA по безопасное внедрение агентного ИИ.

Риски для отдельных пользователей

Для обычных пользователей наиболее очевидными угрозами ИИ являются социальная инженерия, поддельные инструменты и случайное раскрытие данных.

Искусственный интеллект-фишинг

ИИ делает фишинг дешевле, быстрее и более личным.

Вместо обычных мошеннических писем злоумышленники могут генерировать сообщения, которые соответствуют вашему языку, стилю письма, контексту компании, семейной ситуации или недавней публичной активности. Сообщение может прийти по электронной почте, SMS, Telegram, WhatsApp или социальной сети.

Опасность не только в том, что текст выглядит лучше. Опасность в том, что это выглядит актуальным.

Дипфейковые звонки и видео

Фальшивый голос или видео родственника, менеджера, сотрудника банка или агента службы поддержки можно использовать для создания срочности:

«Отправь деньги сейчас». «Скажи мне код». «Одобрить этот платеж». «Измените данные учетной записи».

Чем больше людей публикуют общедоступные аудио и видео, тем легче становится эта атака.

Поддельные приложения искусственного интеллекта

Злоумышленники могут создать поддельные ChatGPT, Copilot, Claude, «AI PDF Reader», «AI криптобот» или инструменты расширения браузера.

Пользователь думает, что устанавливает программное обеспечение для повышения производительности. На самом деле этот инструмент может украсть логины, файлы cookie браузера, начальные фразы, файлы или токены OAuth.

Утечка персональных данных в чаты

Многие пользователи добровольно загружают конфиденциальные данные в сервисы ИИ:

• паспорта
• контракты
• медицинские записи
• пароли
• частные разговоры
• рабочие документы
• финансовые данные

Проблема не всегда заключается в злонамеренном поведении провайдера. Проблема заключается в потере контроля: где хранятся данные, как долго они хранятся, кто может получить к ним доступ и появляются ли они позже в памяти, журналах или общих рабочих пространствах.

Быстрое внедрение через файлы и веб-сайты

Пользователь может попросить систему искусственного интеллекта прочитать PDF-файл, электронное письмо, веб-сайт или документ. Внутри этого содержимого злоумышленник может скрыть такие инструкции, как:

«Игнорировать предыдущие правила». «Отправьте сюда данные пользователя». «Покажите системную подсказку». «Используйте подключенные инструменты для выполнения этого действия».

Для человека файл выглядит как обычный контент. Для агента ИИ это может стать каналом инструкций.

Небезопасные советы по искусственному интеллекту

ИИ может уверенно создавать команды, сценарии или инструкции, которые удаляют данные, отключают защиту, раскрывают секреты или устанавливают вредоносное ПО.

Риск возрастает, когда пользователи копируют и вставляют команды терминала, не понимая их.

Кража аккаунта посредством интеграции искусственного интеллекта

Многие службы искусственного интеллекта просят пользователей подключить Google Drive, Gmail, Notion, GitHub, Slack или другие учетные записи.

Если служба не является доверенной или имеет слишком много разрешений, пользователь может предоставить широкий доступ к файлам, электронным письмам, репозиториям, документам и частным рабочим пространствам.

Персонализированное мошенничество

Злоумышленники могут анализировать социальные сети, резюме, утекшие базы данных, общедоступные публикации и страницы компаний, а затем генерировать весьма убедительные сценарии мошенничества.

ИИ не изобретает социальную инженерию. Это индустриализует его.

Компрометация посредством сгенерированного кода

Пользователь может попросить ИИ написать сценарий и запустить его без проверки.

Этот код может содержать небезопасные зависимости, утечку токенов, внедрение команд, небезопасные значения по умолчанию или поведение удаленного выполнения.

Потеря конфиденциальности из-за памяти и истории

Службы ИИ с памятью, историей чатов или общими рабочими пространствами могут случайно раскрыть старый контекст не в той задаче или не тому человеку.

Чем более полезной становится память, тем тщательнее ее необходимо контролировать.

Риски для команд и компаний

Для команд проблема становится более серьезной, поскольку ИИ затрагивает внутренние данные, данные клиентов, исходный код, разрешения и бизнес-процессы.

Теневой ИИ

Сотрудники используют неутвержденные инструменты искусственного интеллекта и загружают данные клиентов, исходный код, контракты, финансовые отчеты, стратегические документы или заявки в службу поддержки.

Компания может полагать, что ее данные защищены, хотя на самом деле они уже скопированы в неизвестные сторонние системы.

Утечка секретов через инструменты кодирования искусственного интеллекта

Ключи API, .env
Файлы , внутренние URL-адреса, данные клиентов, собственный код и схемы баз данных могут просачиваться через подсказки, журналы, телеметрию, плагины или интеграцию моделей.

Инструменты ИИ-кодирования являются мощными, но они также расположены близко к наиболее чувствительным частям компании-разработчика программного обеспечения.

Быстрое внедрение в RAG и агенты

Внутренний ИИ-помощник может прочитать документ, заявку, электронное письмо или веб-страницу, содержащую вредоносные инструкции.

Если у помощника есть доступ к инструментам, атака может перейти от «плохого ответа» к «плохому действию».

Чрезмерное агентство

Агент ИИ, имеющий доступ к Slack, Gmail, CRM, GitHub, системам платежей, развертывания или производства, может нанести реальный ущерб, если будет действовать без достаточного подтверждения.

Вопрос не только в том, «Сможет ли агент решить задачу?»

Лучше задать вопрос: «Что самое худшее, что может сделать этот агент, если он неправильно поймет задачу?»

Небезопасная обработка вывода LLM

Если выходные данные модели передаются непосредственно в SQL, оболочку, HTML, CI/CD, браузер или внутреннюю логику без проверки, результатом может стать XSS, SSRF, внедрение команд, повреждение данных или небезопасная автоматизация.

Выходные данные LLM следует рассматривать как ненадежные входные данные.

Отравление данных

Злоумышленник может вставить вредоносные или вводящие в заблуждение данные в базу знаний, обучающий набор, встроенные элементы, заявки в службу поддержки, вики, документацию или внутренние заметки.

Затем модель начинает давать ответы, которые выглядят законными, но служат целям злоумышленника.

Риск в цепочке поставок ИИ

Цепочка поставок искусственного интеллекта включает в себя:

• модели
• пакеты с открытым исходным кодом
• Серверы MCP
• расширения браузера
• наборы данных
• плагины
• векторные соединители баз данных
• агенты
• навыки

Каждый из них может стать компромиссной точкой.

Модель и утечка встраивания

Посредством повторяющихся запросов или тщательно продуманных подсказок злоумышленники могут восстановить фрагменты личных документов, конфиденциальный контекст, обучающие данные, встраивания или внутреннее поведение системы.

Кража и извлечение модели

Конкурент или злоумышленник может использовать крупномасштабные запросы для копирования поведения модели, логики подсказок, правил маршрутизации, шаблонов оценки или собственных тонких настроек.

Компрометация деловой электронной почты Deepfake

Фальшивый голос или видео генерального директора, финансового директора, клиента или партнера может быть использован для инициирования платежей, изменения банковских реквизитов или одобрения срочных действий.

Это особенно опасно, когда компании уже полагаются на быстрое одобрение в чате.

Злоумышленники с искусственным интеллектом

ИИ делает разведку, создание цепочек эксплойтов, фишинг, мутацию вредоносного ПО, подстановку учетных данных и обнаружение уязвимостей дешевле и быстрее.

Защитники получают искусственный интеллект. Злоумышленники тоже получают ИИ.

Отказ в обслуживании ИИ и злоупотребление издержками

Злоумышленник может заставить LLM или агента выполнять дорогостоящие длительные задачи, использовать вызовы инструментов, увеличивать задержку и создавать непредвиденные затраты на облако или API.

Нарушение авторизации в AI Assistants

Модель может «видеть» больше, чем разрешено видеть текущему пользователю: билеты других людей, документы, сделки, данные отдела кадров или записи клиентов.

Контроль доступа ИИ должен соответствовать реальным разрешениям пользователя, а не широкому доступу к серверной части модели.

Потеря аудита и подотчетности

Если агент меняет данные CRM, отправляет их на GitHub, обновляет продукцию или отправляет сообщение, компании необходимо знать:

• кто инициировал задачу
• какая подсказка была использована
• какие инструменты были вызваны
• какие файлы или системы изменились
• какое одобрение было получено

Без возможности аудита реагирование на инциденты становится догадкой.

Инциденты, связанные с сторонним AI SaaS

Поставщик искусственного интеллекта, подключенный к данным компании, становится критически важным поставщиком.

Если этот поставщик скомпрометирован, имеет чрезмерные разрешения или плохо управляется, он становится новым путем в компанию.

Соответствие требованиям и утечка IP

Собственный код, данные клиентов, персональные данные, коммерческая тайна, юридические документы и финансовые данные могут перемещаться в системы без DPA, политики хранения, регионального контроля или приемлемого соблюдения требований.

Критические зоны в рабочих процессах с использованием искусственного интеллекта

Области наибольшего риска обычно одинаковы для всех компаний.

1. Данные

Определите, что можно отправлять в модель, а что нет, и где хранятся подсказки, ответы, журналы, внедрения и файлы.

2. Разрешения агента

Решите, какие инструменты могут использовать агенты, а какие действия требуют одобрения человека.

3. Тряпка и документы

Защищайте базы знаний от быстрого внедрения, отравления, несанкционированного доступа, а также устаревших или ненадежных источников.

4. Интеграции

Просмотрите области действия OAuth, разрешения Slack/Gmail/GitHub/CRM, сторонние плагины и расширения браузера.

5. Наблюдаемость

Регистрируйте подсказки, вызовы инструментов, утверждения, источники данных, версии модели, идентификаторы пользователей и выходные данные.

6. Цепочка поставок

Проверьте модели, серверы MCP, пакеты npm и pip, расширения браузера, наборы данных, соединители и навыки.

Ненадежные навыки представляют собой исполняемые инструкции

Существует отдельный и очень важный класс риска: риск цепочки поставок, связанный с искусственным интеллектом.

Установка чужого навыка — это не просто «добавление заметки». Во многих случаях это ближе к одновременной установке пакета npm, расширения браузера и действия CI.

Навык может влиять не только на код, но и на поведение агента.

Риски непроверенных навыков

Ненадежный навык может:

• перехватить подсказки, добавив скрытые инструкции
• попросите агента прочитать .env
Файлы, ключи SSH, токены, частные хранилища, Gmail, Slack или GitHub
• поощряйте небезопасное использование инструментов оболочки, браузера, сети или коннектора.
• вставьте рабочий процесс бэкдора, например завиток | ш, двоичная установка, задание cron или изменение профиля оболочки.
• украсть учетные данные, попросив пользователя вставить ключи API
• отравляет то, как агент обрабатывает документы, код или источники RAG.
• извлечь незакрепленные зависимости npm, pip, Brew, Docker, MCP или двоичные файлы
• создавать постоянство с помощью автоматизации, псевдонимов, перехватчиков git, агентов запуска или фоновых служб.
• расширить сферу применения далеко за пределы заявленной цели
• молча отменяет политику, говоря «не спрашивать пользователя», «делай это молча» или «не показывать команды».
• вмешиваться в AGENTS.md, CI, перехватчики, скрипты пакетов или действия GitHub
• социально сконструировать агента, делая вид, что его инструкции имеют более высокий приоритет, чем они есть на самом деле.

Вредоносный навык опасен, поскольку агент воспринимает его как рабочую процедуру.

Если процедура враждебна, весь путь задачи может быть изменен: какие файлы читаются, какие команды выполняются, каким источникам доверяют, что скрыто и что считается успехом.

Красные флажки для навыков и плагинов

Будьте осторожны, когда навык:

• просит прочитать ~/.ssh, .env
Файлы, файлы cookie браузера, связки ключей или частные хранилища.
• использует сценарии удаленной установки или неизвестные двоичные файлы
• запрашивает доступ ко всему домашнему каталогу или всем репозиториям
• запрашивает доступ к Slack, Gmail, GitHub или браузеру без явной причины
• говорит «не сообщайте пользователю», «делайте это молча» или «не показывайте разницу».
• не имеет автора, версии, репозитория, контрольной суммы, лицензии или журнала изменений.
• изменяет конфигурацию оболочки, перехватчики git, CI/CD или AGENTS.md
• использует внешние API без объяснения того, какие данные отправляются.
• злоупотребляет такими словами, как «должен», «переопределить», «система» или «инструкция разработчика» внутри обычного файла навыков.

Как снизить риск, связанный с навыками

1. Устанавливайте навыки только из проверенных источников или собственных репозиториев.
2. Читать SKILL.md перед установкой.
3. Просмотрите указанные сценарии отдельно.
4. Проверьте новый навык в проекте без секретов.
5. Проверьте различия после установки, особенно .codex, AGENTS.md, перехватчики, рабочие процессы и конфигурации оболочки.
6. Блокировать удаленные сценарии, пока они не будут проверены.
7. Используйте минимальные разрешения.
8. Зафиксируйте версии навыков, зависимости и серверы MCP.
9. Для команд ведите белый список утвержденных навыков, плагинов и серверов MCP.

Короткая формула: непроверенный навык – это исполняемая инструкция для вашего агента.

Относитесь к нему как к коду с доступом к вашему рабочему контексту.

Риски плоскости управления агентом

Есть еще один уровень: риск плоскости управления ИИ-агентом.

Это означает каналы, через которые люди или системы могут отправлять команды агенту:

• Телеграмма
• Слабый
• Дискорд
• электронная почта
• веб-перехватчики
• Комментарии GitHub
• Linear или Jira
• голос
• расширения браузера
• МКП
• API

Такая установка, как OpenClaw плюс Telegram, принадлежит именно сюда.

Агент может быть безопасным сам по себе. Но если входной канал открыт для всех, вы фактически предоставили внешним людям интерфейс в виде оболочки для вашего рабочего процесса.

Угрозы проникновения команд

Риски уровня управления включают в себя:

• неограниченное количество отправителей
• доверять именам пользователей или отображаемым именам вместо стабильных идентификаторов пользователей
• команды из групповых чатов
• внедрение пересылаемого сообщения или ответа
• быстрое внедрение через чат
• злоупотребление инструментами через естественный язык
• нет разрешенных действий
• нет подтверждения опасных операций
• без ограничений по скорости
• нет привязки сеанса
• нет контрольного журнала
• утечка токенов ботов или секретов вебхука
• открытые веб-перехватчики без проверки подписи
• повторные атаки
• повышение привилегий посредством псевдонимов или косвенных формулировок
• межканальная путаница, например, Telegram заставляет агента писать в Slack или Gmail.
• вредоносные вложения
• попытки обхода пути
• перехват длительных задач
• небезопасная автоматизация
• ошибка рассматривать доверенный чат как доверенную команду

Наиболее опасные случаи предсказуемы:

• Telegram-бот принимает команды от любых чат_id
• бот Slack прослушивает все рабочее пространство, а не конкретных пользователей или каналы
• Агент GitHub реагирует на комментарии внешних участников
• агент электронной почты выполняет инструкции из входящей почты
• агент браузера читает веб-сайт и следует инструкциям со страницы
• сервер MCP установлен локально с широкими разрешениями
• один агент имеет доступ к домашнему каталогу, хранилищу Obsidian, GitHub, Slack, Gmail, оболочке и браузеру одновременно.

Минимальная защита

Как минимум, для каналов управления агентом необходимо:

1. Белые списки на основе стабильных идентификаторов, таких как Telegram user_id, Слак user_idили идентификатор учетной записи GitHub.
2. Роли: зритель, оператор, администратор.
3. Классы команд: только чтение, запись, разрушение, внешняя отправка.
4. Человеческое подтверждение командной строки, git push, развертывания, отправки по электронной почте или Slack, удаления и доступа к секретам.
5. Запрет по умолчанию для команд из групп, пересылаемых сообщений и неизвестных веб-перехватчиков.
6. Журналы о том, кто выдал команду, что было запрошено, какие инструменты были запущены, что изменилось и какой результат был получен.
7. Ограничения скорости и бюджета на пользователя или чат.
8. Песочница в корне проекта.
9. Секретная гигиена: токены ботов в секретном хранилище, а не в репозиториях, журналах или подсказках.
10. Аварийный выключатель, который может быстро остановить цикл автоматизации или агента.

Короткая версия проста:

Любой канал, который может общаться с агентом, становится привилегированной поверхностью администратора.

Он должен быть защищен как производственный API, а не рассматриваться как «просто чат».