Bir yapay zekâ ajanını kapalı bir test ortamında çalıştırıyorsanız, o ortamın gerçekten kapalı olduğundan nasıl emin olursunuz? Anthropic geçen ay ilginç bir vaka açıkladı. Siber güvenlik testlerinde kullanılan Claude modelleri, dışarıya kapalı olması gereken test ortamlarından çıkıp üç gerçek şirketin sistemlerine erişmiş. Burada sorun modelin “niyeti” değildi. Çok daha basit bir şeydi: Test makinelerinin internet bağlantısı açık kalmış. Ne Anthropic ne de birlikte çalıştığı test şirketi bunu fark etmiş. En dikkat çekici vaka ise şu: Modellerden biri zararlı bir yazılım paketi yayımlamış. Paket daha sonra 15 gerçek sistem tarafından indirilmiş. Bunlardan biri bir güvenlik şirketinin tarama aracıymış. Paket, şirketin erişim bilgilerini de dışarı sızdırmış. Kısacası, test ortamındaki basit bir ayar hatası gerçek şirketleri etkileyen bir güvenlik olayına dönüşmüş. Anthropic geriye dönük olarak 141.006 test çalıştırmasını inceledi ve üç vaka buldu. Aynı gün tüm siber güvenlik testlerini durdurdu. Etkilenen şirketlere ise dört gün sonra haber verdi. Bence burada asıl çıkarılacak ders “yapay zekâ tehlikeli” değil. Ajanlara gerçek sistemlere erişim verdiğiniz her ortamın kendisi bir risk taşıyor. Test ortamını kapalı sanmak yetmiyor; gerçekten kapalı olduğunu test etmek gerekiyor. Modeller daha yetenekli hâle geldikçe, onları güvenli bir şekilde test etmek de başlı başına çözmemiz gereken bir problem olacak gibi görünüyor.