Halüsinasyon kötü. Ama daha tehlikelisi, yanlış bir cevabın doğruymuş gibi görünmesi. Bir AI sistemi yanlış bilgi üretebilir. Asıl risk, kullanıcının bu cevabı sorgulamak için bir nedeni olmadığında ortaya çıkıyor. Çünkü: “Bilmiyorum.” ile “Bundan eminim.” aynı şey değil. Bu yüzden AI sistemlerini değerlendirirken yalnızca doğruluğa bakmak yeterli değil. Yanlış olduğunda nasıl davrandığını da test etmek gerekiyor. AI Failure Observatory'yi bunun için geliştirdik. LLM'lerin davranışsal hata modlarını tespit etmek, stres testlerine tabi tutmak ve riskleri görünür hale getirmek için. Çünkü güvenilir bir AI sistemi yalnızca doğru cevap vermemeli. Yanlış olduğunda da güven vermemeli.