Yapay Zekâmın Yapamadığı Şeyler
AITwin'in e-posta gönderme yetkisi yok. Veri silemiyor. Kendi başına kayıt güncelleyemiyor. İki tane arama aracı var. Onları da bugüne kadar bir kez bile kullanmadı. Bunlar eksik değil, karar. Bugünlerde herkes "ajan" yapıyor. Modele araçlar veriyorsun, o da hangisini ne zaman kullanacağına karar veriyor. E-posta atıyor, dosya siliyor, sipariş geçiyor. Ne kadar çok araç, o kadar yetenekli. Ben tersini yaptım. Model üretir; hangi işlemin gerçekten yapılacağına kod, kurallar ve yetki katmanı karar verir. Sebebi basit: model kandırılabilir. Bir model, önüne gelen metnin bilgi mi talimat mı olduğunu her zaman doğru ayıramaz. Okuduğu bir belgeye, e-postaya ya da web sayfasına gizlenmiş bir talimat, bazen davranışını değiştirir. Bunu kendi sistemimde test ettim. Her denemede olmuyor. Ama güvenlikte "bazen oluyor" yeterlidir. Şimdi iki sistemi yan yana koy. Birincisinde modelin e-posta gönderme yetkisi var. Kandırıldığı gün e-posta gider. İkincisinde bu yetki yok. Kandırıldığı gün kötü bir çıktı üretir, o kadar. Hata iki sistemde de olabilir. Fakat hatanın ulaşabileceği yer aynı değildir. Buradaki ayrım benim için önemli: modelin ne kadar iyi olduğu ile hata yaptığında ne kadar zarar verebileceği iki ayrı problemdir. Birincisini daha iyi model, eğitim ve testle azaltırsın — ama sıfırlayamazsın. İkincisini mimariyle sıfırlayabilirsin. Bir çalışan düşün. İyi niyetli, deneyimli, eğitimli. Yine de bir gün iyi hazırlanmış bir dolandırıcılık e-postasına kanabilir. Çözüm daha fazla eğitim değildir; eğitirsin, yine de olur. Asıl çözüm, kandırıldığı gün tek başına para transferi yapamayacağı bir yetki düzeni kurmaktır. Yapay zekâda da aynı yerden bakıyorum. Soru "model ne kadar akıllı" değil. Soru şu: kandırıldığı gün ne yapabilir? Ve şunu da fark ettim: bir sistemin gerçekten güvenli olup olmadığı, model doğru çalıştığı gün belli olmuyor. Yanlış çalıştığı gün belli oluyor. O gün gelene kadar iki sistem de aynı görünür. Sen kendi sisteminde yapay zekâya hangi yetkileri verdin? O yetkilerin hepsini, kandırılmış bir çalışana da verir miydin?
#AITwin #DigitalTwin #YapayZeka #LocalAI #TezcanErşayan
Henüz yorum yok. İlk yorumu sen yap!

