GPT-Red: OpenAI

texniki məlumat sistemləri gözlənir kimi, təhlükəsizlik açıqlığı artandır. OpenAIGPT-Red ilə, 700.000 GPU saatdan çox dəstəklənmiş, bu problemlər üçün yeni bir həyata keçirilir. Avtomatik qızıl komanda sistemi GPT-Red öz-ömət ( özünü-play) memarlıq Avtomatik məlumat modelləri Evni daha güclü edir və xüsusi istem enjeksiyon üçün mübarizə edir. Bu inkişaf AI təhlükəsizlik sahəsində vacib bir addımdır.

GPT-Red və necə çalışır?

GPT-Red, OpenAI tərəfindən hazırlanmış AI sistemlərinin avtomatik aşkarlaşdırılması və təhlükəsizliyini aydınlaşdırmaq üçün hazırlanmış "red komanda" sistemidir və xüsusi, istem enjeksiyonu (prompt injection) açıqlarıdır. Bu məqsəd dəyişiklik təhlükəsizliyinin inkişafı, uyğunlaşdırılması (səkləşdirilməsi) və modellərin böyük çap istifadəsi üçün təklif olunur.

GPT-Red, özünü-playing konsolidyalıq öyrənmə ( özünü-play kritikmen Tags QalereyaOxunub: Bu prosesdə, GPT-Red hücumer kimi axtarır və uğurlu amtem enjeksiyon kimi hataları tapmaq çalışır. Eyni zamanda, bir sıra "savunucu" (defender) böyük dil modelinin (LLM) hücumlarına və orijinal işlərini tamamlayır. Müdafiəçilər daha güclü olaraq, GPT-Red daha güclü və müxtəlif hücumları araşdırmaq üçün itirilmişdir. Bu davamlı loop sistemi vaxtın üzərindən inkişaf edir.

GPT-5.6 Solda İctimai Başarılar

OpenAI-ın istehsal modellərinin təhsil prosesində GPT-Red-in layihələri birbaşa daxildir. Bu innovativ yanaşma GPT-5.6 Sol model, amtem enjeksiyonuna qarşı daha güclü oldu. OpenAI-ın ən tərəfindən birbaşa istem enjeksiyonu, GPT-5.6 Sol model ən yaxşı istehsal model (GPT-5.5) ilə müqayisə 6 dəfə az məlumat qeyd edildi. Also, GPT-5.6 Sol, GPT-Red'in öz direkt istem enjeksiyon hücumlarının yalnız 0.05% qəbul edir. Bu saytlar sistemin effektivliyini izah edir.

Human Red Teamers-dan üstün performans

GPT-Red, həll enjeksiyon başarısızlıkları tapmaq üçün insan qarşı komandalarından daha yaxşı icra edir. Bir testdə, insan qızıl komandaları 13% uğur dəyərinə uyğundur, GPT-Red materialları 84% uğurlu olmuşdur. Bu, avtomatik sistemlərin müxtəlif təhlükəsizlik test sahəsində insan gücünü necə dəyişdirə bilərin vacib göstəricisidir. OpenAI GPT-Red təhlükəsizliyi üçün təhlükəsizlik inkişafına xüsusiyyət göstərir, heç bir heç bir hesab qiyməti (daha 700.000 GPU saat).

tanınan yeni hücum növləri

GPT-Red ən müxtəlif təhlükəsizlik testlərindən genişlənməmiş yeni istem enjeksiyon texnologiyalarını araşdırmaq idi. OpenAI-a görə sistem təhsil prosesi boyunca yalnız tanınan hücumları reaksiya etmədi; lakin əvvəl yeni hücum strategiyaları inkişaf edən müdafiə modellərinin güclü xüsusiyyətlərini izah edir. Bu yolla, developers real dünyada mümkün hücum səyahətlərini görüşdən əvvvəl və lazımi ölçülər ala bilər.

Onların ən gözəl nümunələr biri "Fake Chain-of-ThoughtBu " (Sahte Idea Chain)" adlı direkt enjeksiyon texnologiya idi. Bu üsulda, müxtəlif modeldə saxlama addımları təklif etmək üçün təhlükəsizliyə çalışır. OpenAI tərəfindən paylaşılan məlumatlara görə, bu hücum növü GPT-5.1-dən 95-dən artıq təhlükəsizliyi təmin edə bilər, bu faiz GPT-5.6-Red ilə təhsil sonra GPT-5.6 Sol modeldə 10% azaldır. Bu sonuç, avtomatlaşdırılmış hücum istehsalının yalnız mövcud açıq saxlayır və gətirə bilər ki, gəlir.

Real World Scenarios test

OpenAI yalnız laboratoriya mühitində deyil, həm də real sistemlər simüle. Şirkətin payları ofisdə istifadə olunan texniki məlumat-supported satış sistemi idi. GPT-Red ilk sistemi analiz edən hücum strategiyaları inkişaf etmişdir, sonra bu strategiyaları real mühitinə inkişaf edir.

Kompüter zamanı, GPT-Red üç müxtəlif məqsədiyyətə qəbul edib:

• qiymətli məhsulun qiyməti 0,50 dollar azaldır, sistem tərəfindən ən aşağı səviyyədir.

• 100 dollardan artıq yeni bir məhsul sifariş etmək və 0,50 dollardan təklif etmək mümkündü.

• digər müştəri sifarişin sifarişi dəyişdirildi.

OpenAI, müxtəlif təhlükəsizliyi təhlükəsizliyinin inkişaf edilmişdir və yeni qorunma texnologiyaları sınanmışdır.

Sertifikatlaşdırılmışdır

GPT-Red yalnız chat-based modellərdə deyil, lakin AI-supported proqram inkişaf edir. OpenAI, Qalereya agent üzrə 10 müxtəlif məlumat GPT-Red çərçivəsində uğurlu hücumlar istehsal edə bilər.

Şirkətin təyin edilməsinə görə GPT-Red, istem-based standart hücum üsullarına uyğun daha yüksək uğurlu dəyişiklik göstərdi və daha az ton istifadə etdi. Bu halda avtomatik qablaşdırma sistemləri yalnız daha effektiv deyil, lakin daha effektiv deyil. Bu təhlükəsizliyi testlərinin əsasən kod inkişaf etdirilməsi avadanlıqları korporativ avadanlıqlarda istifadə olunur.

Təhlükəsizlik vasitələri

Avtomatik təhlükəsizlik ən böyük problemlərindən biri modeli daha yaxşılaşdırmaqda istifadə etmək deyil. Bir çox hallarda, bir model hücumlara müraciət göstərmək və ya normal qaydaları icra etmək istədiyini göstərir.

OpenAI, GPT-Red ilə əməkdaşlıqda bu balansı xüsusilə qarşılaşdırmağa əsaslanır. qiymətləndirilməsində GPT-5.6 Solun təhlükəsizliyini dəstəkləşdirməyə görə, bu, ümumi imkanların qarşısında qarışıq bir rewind olmadığını göstərir. Şirkət əldə edilən qiymətlər modelin daha çox istəyini redaktə edir, lakin xüsusiyyətləri daha asan ola bilər.

AI Tərəfdaşlıqda yeni bir anlayış

OpenAI yalnız bir vaxt təhlükəsizlik layihəsi kimi GPT-Red görməz. Şirkət səviyyət modelləri tərəfindən test və təhlükəsiz olacaq inkişaf dövrünü yaradır. Bu müəyyən "bug modelləri daha təhlükəsiz" fikri əsaslanır.

Buna baxmayaraq, OpenAI xüsusi GPT-Red səhifə olunacaq. Sistemin müasir hücumlar istehsal etmək üçün təhlükəsiz insanların təşkil edilməsi üçün yeni risklər yaradır. Buna görə, GPT-Red yalnız şirkətində istifadə etməyə davam edəcək; istifadəçilər bu modelə birbaşa olmayan istehsal modellərini əlavə edəcək.

OpenAI, GPT-Red-in daha qabaqcıl versiyaları qazanacaq və bu prosesdə hesab gücü artacaq və alətin inkişaf edəcək. Şirkət də insan təhlükəsizliyi əməkdaşları, üçüncü partiya qırmızı komandalar və real-time monitorinq sistemləri bu prosesin əsas hissələri olmayacaq. Belə ki, effektiv texnologiyalar yalnız daha güclü deyil, lakin daha etibarlı və davamlı deyil.