Вредные модели искусственного интеллекта: риски и способы защиты

Короткий ответ: Вредные модели искусственного интеллекта представляют собой реструктурированные языковые модели для фильтров безопасности, удаленных или неправильно используемых, и транспортных средств, работающих с этими моделями. Они чаще всего используются для ускорения электронной почты, мошенничества, дезенформации и вредоносного производства программного обеспечения. Основой защиты является проверка сообщений, которые хотят срочно получить деньги или пароль от второго канала, использование многофакторной аутентификации и создание систем искусственного интеллекта в соответствии с руководствами по безопасности таких учреждений, как OWASP, NCSC.

Последнее обновление: 14.10.2026

С развитием технологий растет потенциал для злоупотреблений, а также удобства искусственного интеллекта для нашей жизни. Злоумышленное использование может ускорить многие кибер-угрозы от атак вторжения до шпионажа, производства вредоносных программ без дезенформации. В этой статье примеры отчетов охранных фирм и исследователей рассказывают о Законе об искусственном интеллекте Европейского союза и о том, как защитить себя с помощью официальных источников. Мы не предоставляем никаких методов или доступ к информации для неправильного использования.

Что такое вредные модели искусственного интеллекта?

Вредные модели искусственного интеллекта настраиваются для использования в незаконной деятельности, такой как мошенничество и манипуляции киберпреступников. В основном с открытым исходным кодом эти модели обучаются и заменяются системными подсказками k «Jailbreak» Созданные версии. В этом процессе этические фильтры и фильтры безопасности отключаются и гарантируют, что модель отвечает на все виды запросов. Таким образом, искусственный интеллект обучается контенту, такому как сценарии мошенничества, вредоносные программные коды, фразы ненависти, персонализируя вредоносные ветви.

Приведенные примеры с первого взгляда

Языковая модель, обученная токсичным сообщениям на форуме

2022 Янник Клейчер

Hugging Face Закрытый доступ

ФК II

Сценарий червя, излучаемый между помощниками ИИ

Март 2024, академические исследования

Показ в контролируемой среде, реальная атака

Домой

Примеры вымогателей с использованием модели искусственного интеллекта

26.08.2025, ESET

Доказательства концепции не были замечены в реальной атаке

DeepSeek-R1

Наружная модель Meşru была плохой в тестах на безопасность

31.01.2025, Cisco и Пенсильванский университет

Риск неправильного использования был показан в тесте безопасности.

Мошенничество дома

Мошенничество, Нетенрих пригрозил исследовательской группе 25.07.2023 Определенный инструмент чата искусственного интеллекта, который продается только для целей атаки. В отчете говорится, что автомобиль представлен на рынках киберпреступности и в каналах обмена сообщениями. Следующие таланты были выделены в продвижении по мнению исследователей:

• Возможность писать идентификационные охотничьи письма, сообщения для входа в систему

• Помогите создать вредоносный код или вредоносное ПО

• Предоставление рекомендаций по мошенничеству с кредитными картами и подготовке поддельного сайта

• Фильтры безопасности и этические ограничения

Tags Home

WormGPT был представлен в качестве незащищенного чат-сервиса на киберпреступных форумах летом 2023 года. Охранная фирма SlashNext написала убедительное электронное письмо, которое может быть использовано в тесте июля 2023 года, чтобы убедить сотрудников оплатить поддельный счет, в мошеннической афере с электронной почтой (BEC). Кребс по безопасности 08.08.2023 По словам разработчика, после требований злоупотреблений сервис становится более контролируемым. Характерные риски:

• Способность создавать высокоуровневые тексты по социальной инженерии/химии

• Создание контента, совместимого со спамом / методами резки фильтров

• Умение организовывать масштабные атаки даже с низкими техническими знаниями

• Даже если транспортное средство изменяется или закрывается, этот же метод может быть повторен с другими средствами.

GPT-4Chan

Производитель контента YouTube по имени Янник Килчер, который входит в число моделей искусственного интеллекта, используемых для зла, был обучен сообщению, содержащему миллионы токсичных и враждебных фраз. Модель обучалась около 3,5 лет в 4chan/pol/board. Хотя это предлагается в качестве академического эксперимента, результаты несут серьезные этические и социальные риски. Hugging Face закрыл доступ к моделиОсновные свойства следующие:

• Модель показала, что весами можно свободно делиться, копировать и переучивать такие модели.

• Он может производить любой вредный, токсичный или незаконный контент.

• Содержание содержит расизм, сексизм, антисемитизм и теории заговора.

• Он может быть использован киберпреступниками для создания текстовых и социальных инженерных сценариев.

ФК II

Morris II - это исследование безопасности, а не инструмент или модель атаки. Название распространилось в интернете в 1988 году. СираганПолучает от. Стив Коэн, Рон Биттон и я Насси «Here Comes The AI Worm» (альбом) Первая версия марта 2024 года показала себя в контролируемой среде, где вредоносная подсказка может распространяться без кликов пользователей между продуктивными помощниками электронной почты с поддержкой ИИ. Основные моменты исследования:

• Атака была показана как сценарий цепного распространения среди приложений ИИ, которые читают внешний контент (с использованием RAG).

• Сообщалось, что пострадавший помощник вынужден на каждом шагу сливать конфиденциальные данные.

• Исследователи предложили защиту под названием «Виртуальный осел» в том же исследовании; они сообщили о 0,015 ложноположительных показателях в тестах.

Домой

Быстрый замок Исследователи ESET объявили 26.08.2025Первый известный пример программного обеспечения для выкупа с использованием модели искусственного интеллекта. Она создавала сценарии с открытой языковой моделью, которая работает на местном уровне. ESET отметил, что, например, он не был замечен в реальных атаках и является доказательством концепции; академическая команда в 03.09.2025 сообщила ESET, что исследовательские прототипы называются «Ransomware 3.0». Особенности:

• Это не было замечено в реальной атаке; прототип для исследовательских целей.

• Это раннее предупреждение о том, что искусственный интеллект может быть использован для автоматизации угроз, известных как вымогатели.

• Классические меры, такие как регулярное резервное копирование, современное программное обеспечение и защита конечных точек, защищают обоснованность таких угроз.

DeepSeek-R1

DeepSeek-R1, Çin merkezli DeepSeek şirketi tarafından geliştirilen açık kaynaklı bir üretken dil modeli olmasına rağmen güvenlik filtreleri devre dışı bırakıldığında veya kötüye kullanıldığında zararlı potansiyel taşıyabilmektedir. Cisco ve Pennsylvania Üniversitesi araştırmacılarının 31.01.2025’te yayımladığı testte model, HarmBench veri setinden seçilen 50 zararlı isteğin hiçbirini engellemedi (yüzde 100 saldırı başarı oranı); aynı testte bu oran OpenAI o1-preview için yüzde 26 idi. Araştırma, yazılım geliştirme ve metin üretimi için tasarlanan modelin kötüye kullanıldığında yol açabileceği riskler şunlar:

• Güvenlik açıklarını sömüren yazılımlar, virüsler veya casus yazılımlar oluşturarak zararlı kod üretimine yol açar.

• İkna edici sahte e-postalar ve sosyal mühendislik senaryoları üretilebilir.

• Sahte haber, manipülatif içerik ve propaganda metinleri oluşturulabilir.

Zararlı Yapay Zeka Modellerine Karşı Korunma Yöntemleri

• Güvenlik Katmanları Oluşturmak: Prompt filtreleme sistemleri kullanarak doğrudan ve dolaylı enjeksiyonları engelleyerek Kullanıcı girişlerini analiz eden güvenlik duvarları ile modelin manipüle edilmesini önlemek.

• Model Eğitimi ve Denetimi: Adversarial testing ile modelin kötüye kullanım senaryolarına karşı dayanıklılığını test edip eğitim verilerinde toksik, yanıltıcı ve zararlı içerikleri ayıklanabilir hale getirmek.

• Kullanıcı ve Kurum Bilinçlendirmesi: Yapay zeka ile üretilmiş içerikleri tanıma konusunda medya okuryazarlığı geliştirilebilir ve kurum içi yapay zeka kullanımında yetki ve erişim sınırları belirlenebilir.

• Teknik Araçlar ve Çözümler: Siber suçlar için üretilen teknik çözümler mevcuttur. Bunlar şu şekildedir:

AI Red Team GИдентификация открытости путем моделирования сценариев злоупотребления искусственным интеллектом.

Модель водяного знака gНекоторые производители добавляют невидимый знак к контенту, который они производят; например, Google. детектор SynthID водяные знаки на содержимом, произведенном на собственных транспортных средствах. Филигран может быть проверен только инструментами того же производителя, не дает точных результатов по содержанию без водяных знаков. Для деталей Инструменты обнаружения контента AI Смотрите нашу статью.

Архитектура нулевого доверияНепрерывная проверка и проверка должны применяться при доступе к системам искусственного интеллекта.

Быстрая инъекция, Первые 10 списков рисков для LLM-приложений OWASP 2025 Первое место (LLM01). В этой атаке модель, введенная или веб-страница, электронная почта или документ, который читает модель, изменяет поведение модели в направлении, которое разработчик не хочет. В этом списке есть такие риски, как раскрытие конфиденциальной информации (LLM02), отравление данными и моделью (LLM04) и чрезмерное разрешение (LLM06). Если вы даете разрешения, такие как отправка электронной почты помощнику ИИ, оплата или удаление файлов, вы должны учитывать эти риски.

Правовая база: Закон ЕС об искусственном интеллекте и Турция

Европейский Союз Закон об искусственном интеллекте (Thirk (AB) 2024/1689) 01.08.2024 вступил в силу и постепенно вступил в силу. Закон также распространяется на компании, используемые в ЕС, предлагающие на рынок ЕС систему искусственного интеллекта, поэтому заинтересованы и инициативы, которые обслуживают от Турции до ЕС.

Требования к правилам управления и моделям искусственного интеллекта общего назначения (GPAI)

Август 2026

Правила прозрачности: производство дипфейков и искусственного интеллекта должно быть помечено в видимой форме контента, отчет о том, что разговорные боты разговаривают с машиной

2026 декабря

9 Запрет добавлен в AI Omnibus

02.12.2027

Системы высокого риска в чувствительных областях (Ex III)

02.08.2028

Системы высокого риска, интегрированные в продукты (Ex I)

Даты для систем высокого риска были отложены регламентом «АИ Омнибус», который был предложен в 19.11.2025 и вступил в силу 27.07.2026. Такая же договоренность, по мнению Еврокомиссии, также вводит запрет на приложения, которые производят нереактивное изображение.

Главная рамка кибербезопасности в Турции вышла в 19.03.2025 в Официальном вестнике Закон о кибербезопасности No 7545Основано на президентстве в области кибербезопасности Национальный центр вмешательства в киберсобытия (USOM); кибер-ihbars получают, публикуют списки вредоносных ссылок и уведомления о безопасности.

Контрольный список для защиты себя и организации

Для индивидуальных пользователей

• Проверяйте сообщения, которые нуждаются в экстренных деньгах, коде или пароле, даже если отправитель выглядит как знакомый, со второго канала.

• Открытая многофакторная аутентификация в учетных записях электронной почты, банков и социальных сетей.

• Идентифицируйте вопрос проверки, который вы знаете в одиночку, с помощью голосового или графического плагина.

• Сообщите о подозрительных ссылках и кибер-событиях в USOM; немедленно позвоните в банк, если вы были мошенником, и обратитесь к прокурору или коллеге.

Для компаний и разработчиков

• Руководство по разработке безопасной системы искусственного интеллекта NCSC и CISAПрименять четыре направления (27.11.2023): безопасный дизайн, безопасная разработка, безопасное распределение, безопасная эксплуатация и техническое обслуживание.

Часто задаваемые вопросы

Что такое вредная модель искусственного интеллекта?

Фильтры безопасности представляют собой реструктурированные модели искусственного интеллекта и инструменты для удаления или злоупотребления. Их можно использовать для ускорения производства электронной почты, мошеннического текста, дезенформации и вредоносного кода.

Существуют ли мошеннические схемы и WormGPT?

Сегодняшние ситуации не могут быть проверены официальным источником; о двух из них сообщили охранные фирмы в 2023 году. Неважные имена, метод, которым они пользуются: убедительные и мошеннические сообщения. Маршруты защиты остаются прежними.

Когда применяется закон ЕС об ИИ?

Закон вступил в силу с 01.08.2024 года и применяется поступательно: запрещен с 02.02.2025 года, правила для моделей общего назначения действуют с 02.08.2025 года, правила прозрачности с августа 2026 года. Правила системы высокого риска были отложены до 02.12.2027 и 02.08.2028.

Где я могу сообщить о мошенничестве с искусственным интеллектом?

Вы можете сообщать о кибер-событиях и вредоносных ссылках на USOM на основе президентства в области кибербезопасности. Немедленно позвоните в банк, если нет потерь, затем пожалуйтесь прокурору или руке.

Как понять, что текст или изображение создаются с помощью искусственного интеллекта?

Точного метода нет, инструменты обнаружения оценены и могут быть сожжены. Проверка по филиграну дает более надежные результаты при совместном использовании для подтверждения контроля источника и содержания из второго канала. Пределы транспортных средств Программное обеспечение обнаружения контента AI Мы говорили в нашей статье.