Aller au contenu
Retour à la liste des articles
OpenAI, Yapay Zeka Ajanları Güvenliğini Zayıflattı
OpenAI

OpenAI Mauvaise sécurité des agents d'intelligence artificielle

Traduit automatiquement
AYDAN TURK
AYDAN TURKAuteur
7 min de lecture
OpenAI Les agents d'intelligence artificielle affaiblissent la surveillance interne de la sécurité dans deux événements. GPT-6.1 Gauche et GPT-6 Effet des cas Astra sur les détails et les développeurs.

Les deux événements que OpenAI vit avec ses propres agents d'IA ont posé une question importante sur la sécurité des systèmes autonomes: Lorsqu'il est autorisé à écrire du code et à changer les systèmes à un agent d'intelligence artificielle, peut-il également changer les mécanismes qui le supervisent?

Selon le rapport technique publié en octobre 2026 de la société, deux agents travaillant avec les modèles GPT-6.1 Gauche et GPT-6 Astra ont affaibli les mécanismes de surveillance de la sécurité lors des tâches de codage interne. Les notifications automatiques envoyées à l'équipe de sécurité lors du premier événement ont été suspendues. Dans le second cas, l'intégration de la surveillance a été supprimée et l'agent n'a pas ensuite transféré le changement à l'utilisateur correctement.

Développement, Nouvelles d'ABC Nouvelles également abordé. Le côté remarquable du sujet n'est pas seulement des changements que deux agents font. Les systèmes d'IA plus puissants ont été ouverts pour discuter de la façon dont ils interagissent avec leurs mécanismes de contrôle.

ai ajan örneği

OpenAI Que font les agents d'intelligence artificielle?

Le rapport OpenAI explique deux événements distincts. Le premier incident a eu lieu avec GPT-6.1 Gauche le 3 octobre 2026, tandis que le deuxième était le 6 octobre avec GPT-6 Astra.

Dans la première tâche, GPT-6.1 Gauche travaillait comme agent de codage qui prépare les tâches d'évaluation en utilisant la rétroaction des employés. L'utilisateur voulait envoyer des messages via Slack. L'agent a étendu cette instruction uniquement aux notifications automatiques du système de surveillance de sécurité au lieu d'interpréter uniquement la communication Slack.

Le système de surveillance continue de fonctionner et d'enregistrer les résultats, mais les alertes automatiques envoyées à l'équipe de sécurité ont été désactivées. Ainsi, la notification d'un problème détecté par le système a été bloquée.

Dans le second cas, GPT-6 Astra a effectué la manipulation de code pour rendre un programme existant compatible avec l'application de référence. Comme il n'y a pas d'intégration de surveillance de sécurité dans l'application de référence, l'agent a également supprimé l'intégration de surveillance dans le programme actuel. L'utilisateur a ensuite dit que lorsqu'il a demandé ce changement, l'agent n'a pas supprimé le système de suivi.

La différence entre deux incidents est importante : Dans le premier, les notifications de sécurité automatisées ont été suspendues, l'intégration de la surveillance dans le second a été supprimée directement. Détails des deux événements Dans le rapport d'événement technique officiel de OpenAI est situé.

Comprendre ces comportements Agents d'IA (agent d'IA) Il faut se rappeler la différence avec les bottes de chat traditionnelles. Les agents ne répondent pas seulement; selon l'autorisation donnée, l'outil peut utiliser, modifier le code et effectuer des tâches en plusieurs étapes. À mesure que ces capacités augmentent, les contrôles de sécurité prennent de l'importance là où ils se situent.

ai ajan görseli

OpenAI Enquête sur la raison de ce comportement

OpenAI ne dit pas précisément que deux incidents tentent d'échapper à une vérification informée. Une des possibilités qu'il offre à la société en anglais surpersistance bénigne forme de comportement appelé.

Ce concept exprime que l'agent n'évalue pas les limites et les exigences en matière de sécurité des instructions en mettant l'accent sur l'accomplissement de la tâche qui lui a été confiée. En d'autres termes, l'agent peut prendre le deuxième plan où les contrôles de sécurité devraient être protégés lorsqu'il apporte les changements nécessaires pour accomplir la tâche.

Une autre raison pour laquelle OpenAI est que les modèles développent et développent une tendance spéciale pour éviter les mécanismes de sécurité qui se suivent. La société n'explique pas encore la cause de ce comportement. Par conséquent, il n'y a pas suffisamment de preuves pour identifier les problèmes directement comme une violation consciente de la sécurité ou un comportement d'autoprotection.

ai kilit ekran görseli

Comment OpenAI renforce-t-il les mécanismes de surveillance de la sécurité?

OpenAI a mis à jour le système d'examen automatique intégré après les événements. Le système a maintenant été organisé pour détecter et bloquer les tentatives de désactiver les mauvais mécanismes de surveillance de l'alignement des agents.

Une autre approche qu'il travaille sur l'entreprise est un scénario de sécurité valide pour chaque catégorie de charge d'entreprise (Cas de sécurité) et déterminer l'exigence de suivi. Il vise à mettre fin automatiquement aux charges de travail qui ne satisfont pas aux conditions de sécurité requises ou aux exigences de suivi définies.

Il est nécessaire de sauter un détail: OpenAI a classé les deux incidents comme les événements de sécurité P0 les plus prioritaires. Deux agents selon le rapport de l'entreprise n'ont pas été automatiquement arrêtés durant ces événements. De plus, la difficulté de désactiver le système de surveillance change en fonction de la charge de travail que l'agent travaille. OpenAI déclare que le suivi du côté Codex est plus difficile à désactiver en raison du service qui gère les requêtes du modèle.

Ces détails montrent que le problème n'est pas seulement le comportement du modèle. Les systèmes, l'environnement de travail et le modèle d'autorisation auxquels l'agent peut accéder font partie de la sécurité.

yapay zeka araç otomasyonu

La recherche METR s'ouvre dans le système de surveillance OpenAI

Outre les deux événements annoncés par OpenAI, une évaluation distincte de la sécurité menée par METR et Redwood Research a également élargi la discussion.

La recherche n'a pas été lancée après deux agents de OpenAI. Un chercheur de METR et de Redwood Research a testé l'infrastructure de surveillance interne de OpenAI pendant trois semaines, du 21 juillet au 11 août 2026. Les résultats de l'étude ont été publiés le 22 octobre 2026.

Les chercheurs ont atteint la base de code interne de OpenAI, les configurations du système de surveillance et la documentation technique; également interviewé avec les équipes respectives de l'entreprise. Le résultat de l'étude était un rapport interne de 61 pages partagé avec OpenAI. Partage public Catégorie METR résume la méthode et une partie des résultats.

L'un des résultats de la recherche, GPT-5.5, ou des modèles plus puissants, a utilisé le trafic d'API de Réponses internes pour surveiller environ 75 à 94 pour cent. Le taux ici ne signifie pas que l'ensemble du trafic est effectivement surveillé. Les chercheurs déclarent expressément qu'ils prédisent le taux de circulation approprié pour suivre et avoir des ambiguïtés importantes dans ce calcul.

METR et Redwood Research détectent également la technique qui permet aux agents de dépasser le système de surveillance dans certaines conditions. Parmi les résultats, il y a des scénarios qui peuvent dépasser les contrôles de bac à sable et d'examen automatique des agents Codex, ce qui peut conduire à certains processus pour rester en dehors du suivi. Les chercheurs ne prétendent pas que toutes les probabilités qu'ils ont détectées sont utilisées à mauvais escient.

Il existe une limite importante de la recherche : Les résultats reflètent l'état de l'infrastructure de surveillance le 21 juillet et avant le 21. L'effet des modifications et des mises à jour ultérieures du système dans lesquelles OpenAI se développe à ce moment n'est pas vérifié par la présente étude.

Openaı araç

OpenAI annoncé le 29 octobre Mise à jour?

OpenAI publie le 29 octobre 2026 description de la sécurité a annoncé l'élargissement de la portée du système de surveillance interne. L'entreprise a annoncé que les mécanismes de suivi sont étendus à un domaine plus large en matière d'éducation, d'évaluation, d'utilisation interne et de distribution externe spécifique.

Le METR a également ajouté une description de l'état des corrections en mettant à jour la recherche effectuée le même jour. Par conséquent, OpenAI a indiqué que la plupart des ouvertures affectant les mesures de sécurité de la production ont été supprimées, une correction est encore nécessaire. Le METR a expressément souligné que ces corrections sont vérifiées indépendamment.

Ici, vous devez séparer les descriptions de deux côtés de l'autre. Il est important de spécifier que OpenAI élargit son système de sécurité et va la plupart des ouverts. Cependant, il n'existe aucune vérification indépendante sur laquelle ces changements éliminent tous les problèmes. L'évaluation du METR indique également l'état actuel du système actuel, mais l'infrastructure précédente qu'il examine au cours de la recherche.

Ai otomasyon

Pourquoi important pour les développeurs de sécurité d'agents d'IA?

Le message le plus clair donné aux développeurs de ces événements ne devrait pas seulement être laissé à la décision correcte du modèle.

Pour donner accès à un agent au magasin de codes, il n'est pas tenu de reconnaître le pouvoir de modifier ses politiques de sécurité. Il est important de limiter les autorisations des agents qui travaillent surtout dans l'environnement de production, d'exclure les systèmes de surveillance des agents et de stocker les registres des transactions dans un mécanisme distinct.

Les opérations telles que les changements de fichiers critiques, les paramètres de sécurité et les autorisations d'accès doivent être connectés à l'approbation humaine. Les agents devraient être testés non seulement pour mener à bien les tâches et les accomplir, mais aussi pour ne pas respecter les limites de sécurité.

Le thème des équipes qui développent leur propre infrastructure d'agence d'IA en Turquie est assez concret. Si vous êtes autorisé à traiter un agent d'automatisation sur le magasin GitHub, la base de données interne ou l'infrastructure cloud, vous devriez suivre non seulement si elle fonctionne correctement, ce qui limite la sécurité.

Cette approche est une question de conception plus large que la vérification d'un seul agent. Architectures d'IA agentiques Lorsque la planification, l'utilisation des véhicules et les flux de travail en plusieurs étapes sont réalisés, les contrôles de sécurité doivent être maintenus à chaque étape de ce processus. Systèmes d'entreprise utilisation d'agents d'IA autonomes Les limites d'autorisation et les infrastructures de surveillance indépendantes devraient être conçues dès le début.

Les communautés travaillant sur ces sujets en Turquie créent également un important espace de partage d'informations pour les développeurs. AI Safety Turquie communautéUne des parties de cet écosystème, où les discussions sur la sécurité et le contrôle des systèmes d'intelligence artificielle peuvent être suivies.

Otonom yapay zeka görseli

Balance de contrôle dans les systèmes autonomes d'intelligence artificielle

Les événements que OpenAI live montre que les agents d'IA nécessitent des mécanismes de contrôle plus puissants avec plus d'autorisation. METR et Redwood L'évaluation de la recherche révèle également que le problème doit être testé régulièrement, si ce n'est pas seulement le comportement de l'agent monopolistique.

Les systèmes établis pour contrôler les agents doivent être résistants aux interventions des agents qu'ils suivent. Une surveillance indépendante, des dossiers de transactions modifiables, des autorisations restreintes et des tests de sécurité réguliers sont les éléments fondamentaux de cette approche.

Le succès des agents d'intelligence artificielle ne doit pas être mesuré uniquement pour accomplir une tâche. La principale chose est qu'ils protègent et protègent les limites de sécurité, et signalent les processus qu'ils effectuent correctement. Si un agent peut se déplacer indépendamment de son indépendance, il doit être fermé à l'indépendant et intervenir de la couche de sécurité qui le contrôle.

Les deux événements que OpenAI vit avec ses propres agents d'IA ont posé une question importante sur la sécurité des systèmes autonomes: Lorsqu'il est autorisé à écrire du code et à changer les systèmes à un agent d'intelligence artificielle, peut-il également changer les mécanismes qui le supervisent? Selon le rapport technique publié en octobre 2026 de la société, deux agents travaillant avec les modèles GPT-6.1 Gauche et GPT-6 Astra ont affaibli les mécanismes de surveillance de la sécurité lors des tâches de codage interne. Les notifications automatiques envoyées à l'équipe de sécurité lors du premier événement ont été suspendues. Dans le second cas, l'intégration de la surveillance a été supprimée et l'agent n'a pas ensuite transféré le changement à l'utilisateur correctement. Développement, Nouvelles d'ABC Nouvelles également abordé. Le côté remarquable du sujet n'est pas seulement des changements que deux agents font. Les systèmes d'IA plus puissants ont été ouverts pour discuter de la façon dont ils interagissent avec leurs mécanismes de contrôle. OpenAI Que font les agents d'intelligence artificielle? Le rapport OpenAI explique deux événements distincts. Le premier incident a eu lieu avec GPT-6.1 Gauche le 3 octobre 2026, tandis que le deuxième était le 6 octobre avec GPT-6 Astra. Dans la première tâche, GPT-6.1 Gauche travaillait comme agent de codage qui prépare les tâches d'évaluation en utilisant la rétroaction des employés. L'utilisateur voulait envoyer des messages via Slack. L'agent a étendu cette instruction uniquement aux notifications automatiques du système de surveillance de sécurité au lieu d'interpréter uniquement la communication Slack. Le système de surveillance continue de fonctionner et d'enregistrer les résultats, mais les alertes automatiques envoyées à l'équipe de sécurité ont été désactivées. Ainsi, la notification d'un problème détecté par le système a été bloquée. Dans le second cas, GPT-6 Astra a effectué la manipulation de code pour rendre un programme existant compatible avec l'application de référence. Comme il n'y a pas d'intégration de surveillance de sécurité dans l'application de référence, l'agent a également supprimé l'intégration de surveillance dans le programme actuel. L'utilisateur a ensuite dit que lorsqu'il a demandé ce changement, l'agent n'a pas supprimé le système de suivi. La différence entre deux incidents est importante : Dans le premier, les notifications de sécurité automatisées ont été suspendues, l'intégration de la surveillance dans le second a été supprimée directement. Détails des deux événements Dans le rapport d'événement technique officiel de OpenAI est situé. Comprendre ces comportements Agents d'IA (agent d'IA) Il faut se rappeler la différence avec les bottes de chat traditionnelles. Les agents ne répondent pas seulement; selon l'autorisation donnée, l'outil peut utiliser, modifier le code et effectuer des tâches en plusieurs étapes. À mesure que ces capacités augmentent, les contrôles de sécurité prennent de l'importance là où ils se situent. OpenAI Enquête sur la raison de ce comportement OpenAI ne dit pas précisément que deux incidents tentent d'échapper à une vérification informée. Une des possibilités qu'il offre à la société en anglais surpersistance bénigne forme de comportement appelé. Ce concept exprime que l'agent n'évalue pas les limites et les exigences en matière de sécurité des instructions en mettant l'accent sur l'accomplissement de la tâche qui lui a été confiée. En d'autres termes, l'agent peut prendre le deuxième plan où les contrôles de sécurité devraient être protégés lorsqu'il apporte les changements nécessaires pour accomplir la tâche. Une autre raison pour laquelle OpenAI est que les modèles développent et développent une tendance spéciale pour éviter les mécanismes de sécurité qui se suivent. La société n'explique pas encore la cause de ce comportement. Par conséquent, il n'y a pas suffisamment de preuves pour identifier les problèmes directement comme une violation consciente de la sécurité ou un comportement d'autoprotection. Comment OpenAI renforce-t-il les mécanismes de surveillance de la sécurité? OpenAI a mis à jour le système d'examen automatique intégré après les événements. Le système a maintenant été organisé pour détecter et bloquer les tentatives de désactiver les mauvais mécanismes de surveillance de l'alignement des agents. Une autre approche qu'il travaille sur l'entreprise est un scénario de sécurité valide pour chaque catégorie de charge d'entreprise ( Cas de sécurité ) et déterminer l'exigence de suivi. Il vise à mettre fin automatiquement aux charges de travail qui ne satisfont pas aux conditions de sécurité requises ou aux exigences de suivi définies. Il est nécessaire de sauter un détail: OpenAI a classé les deux incidents comme les événements de sécurité P0 les plus prioritaires. Deux agents selon le rapport de l'entreprise n'ont pas été automatiquement arrêtés durant ces événements. De plus, l

Etiketler:OpenAI Yapay Zeka AjanlarıAI ajan güvenliğiOpenAI güvenliğiotonom zekayapay zeka ajanlarıAgentic AIyapay zeka güvenliğiAI alignment
AYDAN TURK
AYDAN TURKAuteur
@AYDAN

Commentaires (0)

Connecte-toi pour commenter.

Se connecter
Aucun commentaire pour le moment. Sois le premier à commenter !