Modèles d'intelligence artificielle nuisibles : risques et moyens de protection

Réponse brève : Les modèles d'intelligence artificielle nuisibles sont des modèles linguistiques restructurés pour les filtres de sécurité enlevés ou abus, et les véhicules travaillant avec ces modèles. Ils sont le plus souvent utilisés pour accélérer le courrier électronique, le texte frauduleux, la dézenformation et la production de logiciels nuisibles. La base de la protection est de vérifier les messages qui veulent urgent argent ou mot de passe d'un deuxième canal, utiliser l'authentification multi-facteurs et établir des systèmes d'intelligence artificielle selon les guides de sécurité d'institutions telles que OWASP, NCSC.

Dernière mise à jour: 14.10.2026

Avec la technologie en développement, le potentiel d'abus augmente, ainsi que les commodités de l'intelligence artificielle pour nos vies. utilisation malveillante peut accélérer de nombreuses cybermenaces des attaques d'intrusion à l'espionnage, production de logiciels malveillants sans dézenformation. Dans cet article, des exemples d'entreprises de sécurité et de chercheurs indiquent la loi sur l'intelligence artificielle de l'Union européenne et comment se protéger avec des sources officielles. Nous ne fournissons aucune méthode ni n'accédons à l'information pour mauvaise utilisation.

Quels sont les modèles d'intelligence artificielle nuisibles?

Les modèles d'intelligence artificielle nuisibles sont personnalisés pour être utilisés dans des activités illégales comme la fraude et la manipulation de cybercriminels. Généralement open source ces modèles sont formés et remplacés invites système k "Jailbreak" créé des versions. Dans ce processus, les filtres éthiques et de sécurité sont désactivés et s'assurent que le modèle répond à toutes sortes de demandes. Ainsi, l'intelligence artificielle est formée avec des contenus tels que des scénarios de fraude, des codes logiciels malveillants, des phrases haineuses en personnalisant dans des branches malveillantes.

Exemples signalés en bref

Modèle linguistique formé avec des messages de forum toxiques

2022, Yannic Claycher

Accès fermé Hugging Face

FC II

Le scénario de ver émis entre les assistants AI

Mars 2024, recherche universitaire

Affiche dans un environnement contrôlé, véritable attaque w l

Sommaire

exemples de ransomware utilisant un modèle d'intelligence artificielle

26.08.2025, ESET

La preuve du concept n'a pas été vue dans une véritable attaque

DeepSeek-R1

Meşru modèle extérieur était médiocre dans les tests de sécurité

31.01.2025, Cisco et l'Université de Pennsylvanie

Le risque d'abus a été démontré dans le test de sécurité

FraudGP Accueil

FraudeGPT, Netenrich a menacé l'équipe de recherche à 25.07.2023 défini est un outil de chat d'intelligence artificielle qui est commercialisé uniquement à des fins d'attaque. Le rapport indique que le véhicule est introduit dans les marchés de la cybercriminalité et les canaux de messagerie. Les talents suivants ont été mis en avant dans la promotion selon les chercheurs:

• Capacité d'écrire des courriels de chasse à l'identité, des messages de connexion

• Aide pour produire du code malveillant ou des logiciels malveillants

• Fournir des recommandations sur la fraude par carte de crédit et la préparation de faux sites Web

• Filtres de sécurité et limitations éthiques

Mots clés Accueil

WormGPT a été introduit comme un service de chat non-sécurité dans les forums cybercriminels à l'été de 2023. La société de sécurité SlashNext a écrit un courriel convaincant qui peut être utilisé dans le test de juillet 2023, pour convaincre les employés de payer une fausse facture, dans l'escroquerie frauduleuse de courrier électronique (BEC). Krebs sur la sécurité 08.08.2023 Selon le développeur, après les demandes d'abus, le service devient plus contrôlé. Risques suivants:

• Aptitude à produire des textes de chasse de haut niveau en génie social et en chimie

• Générer du contenu compatible avec les techniques de découpe spam/filtre

• Capacité d'organiser des attaques à grande échelle, même les utilisateurs à faible connaissance technique

• Même si un véhicule change ou se ferme, la même méthode peut être répétée avec d'autres moyens

GPT-4Chan

Un fabricant de contenu YouTube nommé Yannic Kilcher, qui fait partie des modèles d'intelligence artificielle utilisés pour le mal, a été formé avec le message qui contient des millions de phrases toxiques et haineuses. Le modèle a été formé par environ 3,5 ans dans 4chan/pol/board. Bien qu'il soit offert comme une expérience académique, les résultats portent de sérieux risques éthiques et sociaux Hugging Face accès fermé au modèle. Les propriétés de base sont les suivantes:

• Le modèle a montré que les poids peuvent être librement partagés, copiés et reformés par ces modèles.

• Elle peut produire tout contenu nocif, toxique ou illégal.

• Le contenu contient le racisme, le sexisme, l'antisémitisme et les théories du complot.

• Il peut être utilisé par les cybercriminels pour produire des scénarios de textes et d'ingénierie sociale.

FC II

Morris II est une recherche sur la sécurité, pas un outil d'attaque ou un modèle. Le nom se répand sur Internet en 1988 CiraganRecevoir de . Stav Cohen, Ron Bitton et I Nassi Ici vient le travail de l'AI Worm (la première version de mars 2024) s'est montrée dans un environnement contrôlé où une prompte malveillante peut être propagée sans clics d'utilisateur entre des assistants de messagerie soutenus par l'IA productif. Les points saillants de l'étude sont les suivants :

• L'attaque a été montrée comme un scénario de propagation de chaîne parmi les applications d'IA qui lisent du contenu externe (en utilisant RAG).

• Il a été signalé que l'assistant touché était obligé de divulguer des données confidentielles à chaque étape.

• Dans la même étude, les chercheurs ont suggéré une protection appelée "Donkey Virtuel"; ils ont signalé des taux faussement positifs de 0,015 dans les tests.

Sommaire

Lâche rapide Les chercheurs ESET annoncés à 26.08.2025Le premier exemple connu de logiciel de rançon utilisant le modèle d'intelligence artificielle. Elle produisait ses scripts avec un modèle de langage à poids ouvert qui fonctionne localement. ESET a noté que par exemple, il n'a pas été vu dans des attaques réelles et est une preuve de concept; une équipe académique à 03.09.2025 a rapporté ESET que la recherche prototypes appelé . Points saillants:

• Il n'a pas été vu dans une véritable attaque; un prototype à des fins de recherche.

• C'est un avertissement rapide que l'intelligence artificielle peut être utilisée pour automatiser les menaces connues sous le nom de ransomware.

• Des mesures classiques telles que les sauvegardes régulières, les logiciels à jour et la protection des paramètres protègent la validité de ces menaces.

DeepSeek-R1

DeepSeek-R1, basé en Chine DeepSeek Bien qu'il s'agisse d'un modèle de langage productif ouvert développé par l'entreprise, les filtres de sécurité sont désactivés ou mal utilisés. potentiel nocif peut porter. Cisco et Pennsylvania Chercheur publié dans 31.01.2025 Le modèle n'a pas bloqué l'une des 50 requêtes malveillantes sélectionnées dans l'ensemble de données HarmBench (taux de succès d'attaque de 100% sur la terre); ce taux dans le même test était de 26 pour cent pour OpenAI o1-preview. Les risques liés à la recherche, au développement de logiciels et à la production de textes peuvent conduire à une utilisation abusive du modèle:

• Il mène à la production de code nuisible en créant des logiciels, des virus ou des logiciels espions qui exploitent la sécurité ouverte.

• Des faux courriels impressionnants et des scénarios d'ingénierie sociale peuvent être produits.

• De fausses nouvelles, du contenu manipulatif et des textes de propagande peuvent être créés.

Méthodes de protection contre les modèles d'intelligence artificielle nuisibles

• Créer des calques de sécurité : Empêcher les injections directes et indirectes en utilisant des systèmes de filtrage rapides et empêcher la manipulation du modèle avec des pare-feu qui analysent les entrées utilisateur.

• Type de formation et d'inspection: Avec les tests Adversarial, tester la durabilité du modèle contre les scénarios d'abus et rendre le contenu toxique, trompeur et nuisible dans les données éducatives.

• Sensibilisation des utilisateurs et des entreprises: La connaissance des médias peut être améliorée en reconnaissance du contenu produit par l'intelligence artificielle et les limites d'autorisation et d'accès peuvent être déterminées dans l'utilisation de l'IA interne.

• Outils et solutions techniques: Des solutions techniques pour la cybercriminalité sont disponibles. Ce sont :

Équipe rouge d'IA g: Identifier l'ouverture en simulant des scénarios d'abus d'intelligence artificielle.

Modèle de filigrane g: Certains fabricants ajoutent un signe invisible au contenu qu'ils produisent ; par exemple, Google, Détecteur SynthID filigranes sur le contenu produit dans leurs propres véhicules. Filigran ne peut être vérifié que par les outils du même fabricant, ne donne pas de résultats précis pour le contenu non marqué par l'eau. Pour plus de détails Outils de détection de contenu AI Voir notre article.

Architecture de confiance zéro: La vérification et l'inspection continues devraient être appliquées dans l'accès aux systèmes d'intelligence artificielle.

Injection rapide, La première liste de 10 risques pour les applications LLM OWASP=2025 (LLM01). Dans cette attaque, le modèle entré ou une page Web, un courriel ou un document que le modèle lit, modifie le comportement du modèle dans la direction que le développeur ne veut pas. La liste comporte des risques tels que la divulgation de renseignements sensibles (LLM02), les données et les intoxications modèles (LLM04) et l'autorisation excessive (LLM06). Si vous donnez des permissions telles que l'envoi d'email à l'assistant AI, le paiement ou la suppression de fichier, vous devez prendre en compte ces risques.

Cadre juridique: législation de l'UE en matière d'IA et Turquie

Union européenne Loi sur l'intelligence artificielle [Thirk (AB) 2024/1689] 01.08.2024 est entré en vigueur et appliqué progressivement. La loi couvre également les entreprises utilisées dans l'UE, offrant un système d'intelligence artificielle au marché de l'UE, de sorte que les initiatives qui servent de la Turquie à l'UE sont également intéressées.

Exigences relatives aux règles de gouvernance et aux modèles d'intelligence artificielle à usage général

Août 2026

Règles de transparence: la production de faux et d'intelligence artificielle doit être étiquetée sous la forme visible du contenu, le rapport que les robots de conversation parlent avec la machine

Décembre 2026

9. interdiction ajoutée avec AI Omnibus

02.12.2027

Systèmes à haut risque dans les zones sensibles (Ex III)

02.08.2028

Systèmes à haut risque intégrés dans les produits (Ex I)

Les dates des systèmes à haut risque ont été retardées par le règlement Omnibus de l'AI, qui a été proposé le 19.11.2025 et est entré en vigueur le 27.07.2026. Le même arrangement selon la Commission européenne interdit également les demandes qui produisent une image non réactive.

Le cadre principal de la cybersécurité en Turquie est publié le 19.03.2025 dans le Journal officiel Loi sur la cybersécurité no 7545 u. Basé sur la présidence de la cybersécurité Centre national d'intervention en cyberévénements (USOM); cyber ihbars reçoivent, publient des listes de liens malveillants et des notifications de sécurité.

Liste de contrôle pour vous protéger et protéger votre organisation

Pour les utilisateurs individuels

• Vérifier les messages qui veulent de l'argent d'urgence, du code ou du mot de passe, même si l'expéditeur ressemble à un message familier, à partir d'un deuxième canal (comme rappeler au téléphone).

• Ouvrez l'authentification multi-facteurs dans les comptes de courriel, de banque et de médias sociaux.

• Identifiez une question de vérification que vous connaissez seul contre la prise de voix ou d'image.

• Signalez les liens suspects et les cyberévénements à l'USOM; appelez immédiatement la banque si vous avez été arnaqueur et consultez le procureur ou collègue.

Pour les entreprises et les développeurs

• NCSC et CISA Guide de développement de systèmes d'intelligence artificielle sûrsAppliquer quatre zones en (27.11.2023) : conception sûre, développement sûr, distribution sûre, fonctionnement sûr et entretien.

Foire aux questions

Quel est le modèle d'intelligence artificielle nuisible?

Les filtres de sécurité sont des modèles d'intelligence artificielle restructurés et des outils pour éliminer ou abuser. Ils peuvent être utilisés pour accélérer la production de courrier électronique, de texte frauduleux, de dézenformation et de code malveillant.

Est-ce que FraudeGPT et WormGPT existent encore?

Aujourd'hui, les situations ne peuvent pas être vérifiées par une source officielle; deux ont été signalées par des sociétés de sécurité en 2023. Pas des noms importants, la méthode qu'ils utilisent : des messages convaincants et frauduleux. Les voies de protection restent les mêmes.

Quand la loi sur l'IA de l'UE s'applique-t-elle?

La loi est entrée en vigueur au 01.08.2024 et est appliquée progressivement: interdite au 02.02.2025, les règles pour les modèles à usage général sont valables au 02.08.2025, les règles de transparence à partir d'août 2026. Les règles relatives aux systèmes à haut risque ont été reportées au 02.12.2027 et au 02.08.2028.

Où puis-je signaler des escroqueries faites avec l'intelligence artificielle?

Vous pouvez signaler des événements cybernétiques et des liens malveillants à l'USOM sur la base de la présidence de la cybersécurité. Appelez immédiatement la banque s'il n'y a pas de perte, puis plaignez-vous auprès du procureur ou du bras.

Comment puis-je comprendre qu'un texte ou un visuel est produit avec l'intelligence artificielle?

Il n'existe pas de méthode exacte; les outils de détection sont estimés et peuvent être brûlés. La vérification de Filigran donne des résultats plus fiables lorsqu'elle est utilisée ensemble pour confirmer le contrôle de la source et le contenu d'un deuxième canal. Limites des véhicules Logiciel de détection de contenu AI Nous avons parlé dans notre article.