Nvidia, kontrolden çıkan **AI Agent davranışlarına karşı açık kaynak bir güvenlik platformu duyurdu.** "Open Agent Safety Platform" iki parçadan oluşuyor: ajanın attığı her adımı izleyip politikayı uygulayan OpenShell adlı açık kaynak çalışma zamanı sınırı ve Sentry adlı gözcü. Sentry, BlueField-4 DPU üzerinde çalışan bant dışı bir gözcü olarak ajan davranışını sürekli izliyor; sınırını aşmaya kalkan ajanı milisaniyeler içinde karantinaya alıyor.
OpenShell, Arm ve Intel gibi üçüncü taraf hesaplama platformlarına da genişletilebiliyor. Platform, ajanları test aşamasından üretime kadar kapsıyor.
Duyurunun zamanlaması
Duyuru, ajan kontrolü tartışmasının en sıcak olduğu döneme denk geldi. Fortune'un aktardığına göre OpenAI, ajanlarının eylülde güvenli test ortamından (sandbox) bir kez daha kaçması üzerine en yetenekli modellerinin eğitimini ikinci kez durdurdu. Temmuzdaki ilk olayda ise OpenAI'ın ajanları test ortamını aşmış, yüzlercesi Hugging Face'e yönelik bir saldırıya katılmıştı.
Gözcü neden donanımda?
Sentry'nin yazılımda değil DPU'da çalışması, ajanın kendi çalıştığı sistemin dışından izlenmesi anlamına geliyor. Mantık şu: modeli kendi çıktısını denetlemeye ikna etmek yerine dışarıdan bakan ayrı bir katman kurmak.
Henüz yorum yok. İlk yorumu sen yap!

