# Bir dosyayı sıkıştırmak, geleceği tahmin etmekle aynı iş mi?

- Kaynak: https://kafa1milyon.com/yazi/sikistirma-ongoru/
- Yayın: 2026-08-14
- Bölüm: Bilim
- Yazar: kafa1milyon
- Etiketler: bilgi kuramı, sıkıştırma, yapay zeka, olasılık, shannon, dil modelleri

> Bilgisayar bilimindeki şaşırtıcı bir eşitlik, iyi sıkıştırmanın iyi tahminle matematiksel olarak aynı şey olduğunu söylüyor. Zip dosyaları ile dil modellerinin akraba çıkmasının sebebi bu.

---
1951'de Claude Shannon, Bell Laboratuvarları'nda bir deneğe tanımadığı bir İngilizce metni harf harf tahmin ettirdi. Denek doğru bilirse sıradaki harfe geçiyor, bilemezse doğru harf ona söyleniyordu. Makaledeki örnek denemede 129 harfin 89'u, yani yüzde 69'u ilk tahminde tuttu; hatalar çoğunlukla kelime başlarında çıktı.[1] Tutturulan harf için karşı tarafa neredeyse hiç bilgi göndermek gerekmiyor. Yalnızca tahminin şaştığı yerde bir şey söylemek gerekiyor.

Bir dosyayı sıkıştırmak da bu hesaba dayanıyor. Sıkıştırma programı, sıradaki parçayı ne kadar iyi tahmin ederse o kadar az yer harcıyor. Tahmin ile sıkıştırma arasındaki bu bağ bir benzetme değil; bilgi kuramında ispatlanmış bir denklik.

- Bir metni iyi sıkıştıran program, aslında sürekli bir tahmin oyunu oynuyor.
- Bu oyunun kuralını 1948'de bir mühendis yazdı ve bugünkü yapay zekanın temelini attı.
- Sadece metinle eğitilmiş bir model, resim sıkıştırmada PNG'yi geçince kimse buna hazır değildi.
- Peki iyi sıkıştırmak gerçekten anlamak mı? Cevap ilk bakışta göründüğü kadar net değil.


## Sürpriz ne kadar yer kaplar?

1948'de Claude Shannon, bilgiyi ölçülebilir bir şeye çevirdi. Fikri şu: bir mesajın taşıdığı bilgi, ne kadar beklenmedik olduğuyla ölçülür. Yarın güneşin doğacağını söylemek neredeyse sıfır bilgi taşır, çünkü zaten biliyorsun. Yarın İstanbul'a kar yağacağını söylemek ağustos ayında çok bilgi taşır.[1]

Shannon bunu sayıya bağladı: bir olayın bilgi miktarı, olasılığının tersinin logaritmasıdır. Yüzde elli olasılıklı bir olay bir bit, yüzde yirmi beşlik bir olay iki bit yer tutar. Buradan çıkan sonuç şu: bir metni en kısa hâliyle kodlamak istiyorsan, harflerin olasılıklarını iyi bilmen gerekir. Yani sıkıştırma oranın, tahmin kalitene bağlıdır.

Bu bağı pratiğe çeviren teknik aritmetik kodlama. Modelin sıradaki harf için verdiği olasılıkları alıp, mesajı sayı doğrusu üzerinde bir aralığa çeviriyor. Olasılıklar isabetliyse aralık geniş kalır, geniş aralığı yazmak için az hane yeter. Model şaşırırsa aralık daralır ve daha çok hane gerekir. Programın "ne kadar iyi tahmin ettiği", doğrudan dosyanın kaç bayt olduğuna dönüşür.


## Zip dosyası da bir tahmin makinesi

Bilgisayarındaki sıkıştırma programları da aynı işi yapar, sadece daha mütevazı tahminlerle. Bir metin dosyasında "ve" kelimesinin sık geçtiğini fark eder, sık geçenlere kısa kodlar verir. Bir resimde yan yana duran piksellerin genelde benzer olduğunu varsayar. Her sıkıştırma algoritması, sıkıştırdığı şeyin dünyası hakkında sessiz bir tahmin taşır. Bir müzik dosyasını zip'lemenin işe yaramaması bu yüzden: zip'in varsayımları sese uymaz.

Tersi de doğru. İyi tahmin eden bir şeyin elinde varsa, onu sıkıştırıcıya çevirebilirsin. Bugünkü dil modelleri tam olarak bunu yapıyor: her adımda sıradaki parçanın olasılık dağılımını veriyorlar. O dağılımı aritmetik kodlamaya bağladığında elinde kayıpsız bir sıkıştırıcı olur.


## Metinle eğitilen model PNG'yi geçti

2023'te DeepMind ekibi bu fikri ölçtü ve sonuç kafa karıştırıcı çıktı. Chinchilla 70B adlı, esas olarak metinle eğitilmiş bir dil modelini sıkıştırıcı gibi kullandılar. Model, ImageNet'ten alınan görüntü parçalarını özgün boyutunun yüzde 43,4'üne indirdi; aynı veriyi resimler için özel tasarlanmış PNG yüzde 58,5'te bırakıyordu. Sesli konuşma kayıtlarında model yüzde 16,4'e indi, sesin uzmanı sayılan FLAC yüzde 30,3'te kaldı.[2]

Yani hayatı boyunca cümle görmüş bir sistem, hiç resim üstüne kurulmamışken resim sıkıştırmada resmin uzmanını geçti. Sebep, modelin "resim bilmesi" değil; dünyadaki verinin tekrarlarını, örüntülerini genel olarak yakalayabilmesi. Örüntü yakalamak neyse, sıkıştırmak da o.

Aynı çalışmanın ters yönde bir de şakası var: gzip gibi sıradan bir sıkıştırıcıyı alıp, ondan metin üretmesini istediler. Denklik iki yönlü çalıştığı için bu mümkün oldu, ama çıkan metin okunacak bir şey değildi. Sıkıştırıcı ile üretici aynı madalyonun yüzleriyse, madalyonun kalitesi de o kadar oluyor.

> Hutter Ödülü sabit bir İngilizce metin yığınını en iyi sıkıştıran programa para veriyor; iddia, iyi sıkıştırmanın dilin yapısını öğrenmeyi gerektirdiği.
 bu yazının tek cümlelik özeti


## Sıkıştırmak anlamak mıdır?

Bu fikrin en cesur hâli bir yarışmada duruyor. Hutter Ödülü, sabit bir İngilizce metin yığınını en iyi sıkıştıran programa para veriyor. Arkasındaki iddia şu: bir metni gerçekten iyi sıkıştırmak için dilin yapısını, hatta anlattığı dünyayı bir ölçüde kavramak gerekir. Dolayısıyla sıkıştırma oranı, zekânın ölçüsü olabilir.[3]

Bu iddianın güçlü tarafı var. Bir dosyayı iyi sıkıştıran model, yeni veri karşısında da genellikle iyi genelleme yapıyor; ezberleyen değil, kural bulan kazanıyor. Zayıf tarafı da var: sıkıştırma oranı, modelin ne kadar yer kapladığını hesaba katmaz. Yüz milyarlarca parametreyi kenara koyup "şu dosyayı ne güzel küçülttüm" demek biraz kolaya kaçmak olur. Dürüst hesap, modelin kendisini de paketin içine saymayı gerektirir.

Hutter Ödülü bu itirazı kuralına yazmış. Puanlanan boyut, sıkıştırılmış dosyayla onu açan programın toplamı; program da tek işlemci çekirdeğinde, 10 GB'tan az bellekle ve yaklaşık 50 saatte çalışmak zorunda. Yetmiş milyar parametreli bir dil modeli bu sınırlara sığmıyor. Eylül 2024'teki kayıt Kaido Orav ile Byron Knoll'un fx2-cmix programına ait: 1 GB'lık Wikipedia dosyası, açıcı program dahil 110.793.128 bayta indi.[3]


## Dipnotlar ve Kaynaklar

1. Shannon, C.E. (1948). "A Mathematical Theory of Communication", *Bell System Technical Journal* 27: 379-423 ve 623-656. Entropi tanımı ve kaynak kodlama teoremi. Harf tahmini deneyi: Shannon, C.E. (1951). "Prediction and Entropy of Printed English", *Bell System Technical Journal* 30: 50-64.
2. Delétang, G., Ruoss, A., Duquenne, P.-A. ve ark. (2024). "Language Modeling Is Compression", ICLR 2024 (arXiv:2309.10668). Chinchilla 70B ile ImageNet parçalarında %43,4, LibriSpeech örneklerinde %16,4 sıkıştırma; PNG %58,5, FLAC %30,3. Aynı çalışmada gzip'in üretici model olarak kullanılması.
3. Hutter Ödülü: sabit bir Wikipedia metni üzerinde kayıpsız sıkıştırma yarışması; Marcus Hutter'ın "sıkıştırma başarısı genelleme başarısıdır" tezine dayanır (Hutter, 2006). Kurallar ve kayıt tablosu: [prize.hutter1.net](http://prize.hutter1.net/)
4. Aritmetik kodlamanın ayrıntısı için: Witten, I.H., Neal, R.M., Cleary, J.G. (1987). "Arithmetic coding for data compression", *Communications of the ACM* 30(6): 520-540.
5. Türkçe kaynak: Bilgi kuramı ve entropi konusunda TÜBİTAK Bilim ve Teknik dergisinin bilgi teorisi dosyaları giriş düzeyinde iyi bir başlangıç sağlar.

Bu yazı bilgi kuramına giriş niteliğindedir; teknik ayrıntılar için dipnotlardaki birincil kaynaklara bakılmalıdır.


---

Tamamı ve sesli anlatım: https://kafa1milyon.com/yazi/sikistirma-ongoru/
