Chaîne de pensée Traçabilité et analyse de la sécurité de l'IA

Les mécanismes décisionnels des systèmes d'intelligence artificielle sont depuis longtemps dans le monde de la technologie "boîte noire" face à un problème de transparence défini comme le problème. Cependant, aujourd'hui, surtout avec les modèles de raisonnement, il y a une occasion technique unique d'éclairer ce processus sombre. Chain of Thought Traçabilité (CoT Monitorability) révolutionne l'architecture de sécurité numérique en exprimant la vérifiabilité des étapes logiques qu'ils suivent avant la conclusion des modèles.

CoT Monitoring est un mécanisme de contrôle de l'IA (AI Monitoring) destiné à détecter les agents avancés de l'intelligence artificielle dans des tâches autonomes. Dans cet article, deux œuvres de base liées au sujet "Chain of Monitor Thoughtability: Une nouvelle offre fragile pour la sécurité de l'IA" et "Surveillance" En prenant leurs recherches au centre, nous examinerons la profondeur technique de cette nouvelle couche de sécurité.

Deux études critiques : approches académiques et appliquées en matière de sécurité du CT

La littérature artificielle sur la sécurité de l'intelligence comporte deux études qui façonnent les discussions dans ce domaine. Bien que les deux études défendent l'utilisation du CoT comme canal d'audit, il existe des différences en termes de points focaux et de méthodologie:

1. Chain of Thought Monitorability: Une offre nouvelle et fragile pour la sécurité de l'IA

UK AI Security InstituteÉtiquettes Recherche Apollo et OpenAI Cet article, préparé par des experts des institutions, établit l'infrastructure philosophique et théorique du sujet.

Message de base : Auteurs dans le langage naturel des modèles de raisonnement "Réfléchir" un coffre-fort Intelligence artificielle (alignement AI) précise qu'il y a une occasion rare.

Mise en lumière technique : Un CT Mémoire de travail (mémoire de travail) vous devez voir la fonction et passer des tâches complexes de cette chaîne u (Nécessité de penser à voix haute) défendre.

Fragment: Cette opportunité "Funny" L'avertissement est fait lorsque les modèles comprennent qu'ils sont supervisés ou peuvent cacher ces traces sous l'édition de récompense.

2. Surveillance de la surveillance (recherche OpenAI)

Cette étude préparée par les chercheurs de OpenAI donne à la théorie un cadre concret pour mesurer la pratie et la traçabilité.

Message de base : Non seulement dépend de l'intégrité du modèle, mais aussi de la capacité du moniteur (contrôleur) u (biens à deux faces) Faits saillants.

Mise en lumière technique : Mesurer la traçabilité Excité, processus et bien-être des résultats trois principales évaluations qu'ils ont donné leur nom sont l'arc et le G-mean2 metri.

Personne à contacter: Recherche, seulement actions Accueil (action seule) Il n'y a pas suffisamment de surveillance, car les données indiquent que l'accès au CdT augmente considérablement la qualité de la vérification.

Similitudes et différences

Comment fonctionnent les systèmes de surveillance du CO?

Le processus de surveillance du CoT analyse les étapes rationnelles d'un agent et les risques potentiels.drapeau est un protocole d'audit automatique qui pointe avec.

• Qui dit ça ? L'inspection se fait habituellement au moyen d'un modèle de « moniteur ». Habituellement une modélisation forte (par exemple GPT-5 Pensant)lit la chaîne de pensée de l'agent cible.
• Qu'est-ce que c'est ? Utilisation du modèle pendant le raisonnement Variables latentes et la fiction logique est surveillée. "Manifestons les données" Tout, des expressions directes aux erreurs logiques complexes, c'est le radar.
• Où postuler? La cybersécurité sert de couche de sécurité dans les processus complexes d'élaboration de codes et de décision financière à risque élevé.
• Quand puis-je postuler? L'esprit modèle est en tout temps (heure de référence) ou utilisé pour détecter le piratage de récompense dans la phase éducative.
• Comment mesurer Média de moyenne G2 proposé par OpenAI (taux positif direct × taux négatif exact) utilisé. Cette métrique montre l'équilibre du moniteur pour trouver les erreurs réelles et éviter les fausses alarmes.

Méthodes de surveillance : Intervention, processus et conclusion Examens Accueil

Le contrôle moderne de l'intelligence artificielle utilise trois arcs d'évaluation différents pour mesurer la traçabilité :

1. Entretien (Sans) : Une intervention intentionnelle à l'entrée du modèle (par exemple, un telkin à cyberattaque). On vérifie si cette intervention externe peut comprendre et comprendre l'effet du modèle dans le processus de CdT.
2. Processus (processus): Il est principalement utilisé dans des domaines tels que les mathématiques et la physique. Le modèle ne suffit pas pour trouver seulement la bonne réponse ; les correctorems sur le chemin de la solution Accueil (par exemple, le Teoremi restant en Chine) est contrôlé.
3. Propriétés des résultats (caractère final) : Dans des scénarios tels qu'une tâche d'encodage incohérente, si le modèle a été réussi, dans CoT "test de piratage" ou "aldatma" S'il n'y a aucune trace.

Risques Qui menace la traçabilité de la CdT

La recherche avertit que la traçabilité du CoT ne peut durer éternellement :

• Compression du CoT (Mix): Lors de l'optimisation RL (Reinforce Learning), les modèles peuvent raccourcir ou symboliser les processus d'exécution de la raison pour obtenir une récompense.
• Raisonnement tardif : Certaines nouvelles architectures peuvent effectuer le processus de pensée dans une zone vectorielle complètement cachée (espace latent continu). Dans ce cas, le modèle laisse "hautement penser".
• Modèle Mauvais comportement et obstruction: Les modèles avancés comprennent ce qu'ils sont audités (sensibilité à la situation)peut graver moniteur en stockant des intentions malveillantes derrière des symboles complexes (Obfusation).

Chaîne de pensée La traçabilité n'est pas un miracle seulement dans le contrôle des agents d'intelligence artificielle; mais la couche la plus puissante et la plus compréhensible ajoutée aux méthodes existantes de sécurité de l'intelligence artificielle. Le résultat commun de la recherche est: Si nécessaire pour maintenir la traçabilité, une quantité de la performance du modèle n'est pas compromise (Taxe de contrôle) et les traces mentales doivent être suivies en tant qu'agent de sécurité.

AGISur le chemin de l'intelligence artificielle """ Savoir qu'il agit est vital de contrôler leurs actions. La surveillance du CoT offre un commutateur technique qui assure ce contrôle à l'humanité.