Sahne, Amerikan savunma araştırma ajansı DARPA'nın bir test sahası. Ortada, bir kavşak adasının üzerinde kamera donanımlı bir robot duruyor. Görevi basit: yaklaşan insanları tespit etmek. Altı gün boyunca bir deniz piyadesi mangası robotun etrafında yürüdü, koştu, dolaştı; sistem onları izleye izleye "insan neye benzer" öğrendi. Yedinci gün eğitmenler oyunu tersine çevirdi: kim robota fark edilmeden dokunursa kazanacaktı. Sekiz piyade denedi. Sekizi de kazandı.1
- İki piyadenin 300 metre boyunca yaptığı şey, bir video oyunundan fırlamış gibi; ve sistem hiçbir şey görmedi.
- Bir panda fotoğrafını, insan gözünün göremeyeceği kadar küçük bir dokunuşla bilgisayara "şebek" diye okutmak mümkün; nasıl olduğu içeride.
- MIT'li bir grup, 3B yazıcıdan çıkan bir kaplumbağayı sisteme başka ve çok rahatsız edici bir şey olarak tanıttı.
- Bu açıkların hepsi aynı tek zayıflıktan doğuyor ve o zayıflık, yapay zekânın en temel çalışma prensibinde saklı.
Altı gün ders, bir gün oyun
Hikaye, eski Pentagon analisti Paul Scharre'nin 2023 tarihli kitabında anlatılıyor. Deney, DARPA'nın piyade mangalarını sensörlerle güçlendirmeyi amaçlayan Squad X programının parçasıydı. Altı günlük veri toplamanın ardından gelen oyun gününde piyadelerin bulduğu yöntemler askeri literatürden çok çizgi filme yakışır: iki piyade, sensöre kadar olan 300 metreyi baştan sona takla atarak geçti. İki piyade bir koli kutusunun altına girip kutu gibi yürüdü; programın yöneticisi, kutunun içinden gelen kıkırdamaların dışarıdan duyulduğunu anlatıyor. Bir başkası çam dallarını koparıp önünde tuttu ve ağaç gibi süzüldü. Sistem, altı gün boyunca izlediği adamları tanıyamadı.1
Sebep, programın yöneticisinin kendi cümlesinde saklı: sistem "yürüyen insan" tespit etmek üzere eğitilmişti. Takla atan insan, kutu olmuş insan, ağaçlaşmış insan eğitim verisinde yoktu. Ve yapay zekâ, verisinde olmayan şeyi yok sayar.
Panda nasıl şebek olur?
Bu zayıflık askerlerin keşfi değil; araştırmacılar on yıldır laboratuvarda aynı şeyi çok daha rafine yöntemlerle yapıyor. Alanın klasik deneyi 2015'te yayımlandı: bir görüntü tanıma ağına panda fotoğrafı gösteriliyor, sistem yüzde 58 güvenle "panda" diyor. Sonra fotoğrafa, insan gözünün hiçbir şekilde ayırt edemeyeceği kadar zayıf, özenle hesaplanmış bir parazit ekleniyor. Fotoğraf bize hâlâ aynı panda gibi görünüyor; sistem ise artık yüzde 99 güvenle "şebek" diyor.2 Bu tür tuzaklara "çekişmeli örnek" deniyor ve dijital dünyayla sınırlı da değiller.
2018'de MIT'den bir ekip, 3B yazıcıyla desenleri özel hesaplanmış bir oyuncak kaplumbağa bastı; Google'ın görüntü tanıma sistemi bu kaplumbağayı hangi açıdan bakarsa baksın "tüfek" olarak sınıflandırdı.3 Aynı yıl başka bir ekip, dur levhalarına birkaç sıradan çıkartma yapıştırarak sürücüsüz araç sistemlerinin levhayı "hız sınırı 45" olarak okumasını sağladı.4 Kaplumbağayı tüfek yapan da, koli kutusunu görünmezlik pelerini yapan da aynı ilke: sistemin gördüğü dünya, bizim gördüğümüz dünya değil.
Yapay zekâ insanları tanımıyordu; eğitim verisindeki insanları tanıyordu. İkisinin arasındaki fark, bir koli kutusu kadar. Squad X deneyinin özeti
Neden bu kadar kolay kanıyor?
Buradaki zayıflık bir yazılım hatası değil, yöntemin doğası. Modern görüntü tanıma sistemleri dünyayı kavram olarak öğrenmez; milyonlarca örnekten istatistiksel desen çıkarır. "İnsan" onun için iki bacak, bir gövde ve belli bir yürüyüş siluetinin piksel istatistiğidir. Biz "kutunun altında biri var, kutular kendi kendine yürümez" diye akıl yürütürüz, çünkü dünyaya dair bir modelimiz var: kutular hakkında, niyetler hakkında, fizik hakkında. Sistemin böyle bir modeli yok; eğitim dağılımının dışına düşen her şey onun için istatistiksel gürültü. Araştırmacılar buna "dağılım kayması" ve "uç vaka" problemi diyor ve Scharre'nin kitaptaki uyarısı tam bu noktada: uç vakalar hep olacak, çünkü karşındaki rakip her zaman evrilme yeteneğine sahip.1
Koli kutusundan çıkan ders
Bu hikaye "yapay zekâ aptal" diye okunursa yanlış okunur; aynı sistemler insanın asla yetişemeyeceği hız ve ölçekte iş görüyor. Doğru okuma şu: yapay zekâ, hiç yanılmayacak bir bilge değil, çok hızlı ama dar görüşlü bir istatistikçi. Yüz tanıma kapıları, sürücüsüz arabalar, içerik filtreleri; hepsi kendi eğitim verisinin sınırları içinde güçlü, dışında kırılgan. Bu yüzden ciddi kurumlar artık sistemlerini "kırmızı takım" testlerinden geçiriyor: birileri para karşılığı, piyadelerin koli kutusuyla yaptığını yapıyor. Bir gün karşına "insansız, tam otomatik, yapay zekâ destekli" diye pazarlanan bir güvenlik sistemi çıktığında aklına o kavşak adası gelsin: sekiz piyade, bir kutu ve sistemin göremediği kıkırdamalar. Makineye güvenmek serbest; sınırlarını bilmek şart.
Dipnotlar ve Kaynaklar
- Scharre, P. (2023). Four Battlegrounds: Power in the Age of Artificial Intelligence, W. W. Norton. DARPA Squad X testi; program yöneticisi Phil Root'un aktarımları. Ayrıca Task & Purpose ve Business Insider'ın kitaptan aktardığı bölümler (Ocak 2023). ↩
- Goodfellow, I., Shlens, J. & Szegedy, C. (2015). "Explaining and Harnessing Adversarial Examples", ICLR 2015: panda-şebek örneği. ↩
- Athalye, A., Engstrom, L., Ilyas, A. & Kwok, K. (2018). "Synthesizing Robust Adversarial Examples", ICML 2018: 3B basılmış kaplumbağanın "tüfek" olarak sınıflandırılması. ↩
- Eykholt, K. ve ark. (2018). "Robust Physical-World Attacks on Deep Learning Visual Classification", CVPR 2018: dur levhası çıkartma saldırısı. ↩
