Overfitting ve Underfitting: Modern Yapay Zekada Genelleme ve Öğrenme Dinamikleri

01Giriş: Genelleme Problemi

Ezberlemek ile öğrenmek arasındaki fark

Makine öğrenimi sistemlerinin temel amacı, geçmiş verilerden kalıplar çıkararak daha önce görülmemiş örnekler üzerinde doğru çıkarım yapabilmektir. Bu yeteneğe genelleme (generalization) denir ve bir modelin gerçek dünyadaki değerini belirleyen asıl ölçüttür.

Öğrenme sürecinde modeller iki uç hataya düşebilir:

• Eksik uyum (underfitting): Model verideki yapıyı yakalayamayacak kadar basit kalır.

• Aşırı uyum (overfitting): Model verideki genel kuralları değil, gürültüyü ve tekil örnekleri ezberler.

Milyarlarca parametreli büyük dil modelleri (LLM) ve üretken yapay zeka çağında bu iki kavram yalnızca istatistiksel birer hata türü olmaktan çıkmış; model ölçeği, eğitim süresi ve ince ayar stratejisi gibi mimari kararların merkezine yerleşmiştir (Goodfellow, Bengio ve Courville, 2016).

02Underfitting (Eksik Uyum)

Modelin veriyi anlamaya yetmediği durum

Underfitting, modelin veri kümesindeki temel ilişkileri temsil edemeyecek kadar sınırlı kalmasıdır. Klasik yan-varyans (bias-variance) ayrışımında bu durum yüksek yan (bias) ile ilişkilendirilir: Model, gerçek fonksiyonu yaklaşık olarak bile ifade edemez (Bishop, 2006).

Tipik nedenleri:

• Veri karmaşıklığına göre yetersiz kapasite (sığ mimari, az parametre).

• Çok kısa eğitim ya da çok düşük öğrenme oranı.

• Aşırı güçlü düzenlileştirme (yüksek weight decay veya dropout oranı).

• Problemi temsil etmeyen ya da eksik özellikler (features).

LLM uyarlamalarında karşılığı: Bir temel modeli kurumsal bir veri setine uyarlarken eğitim çok erken kesilirse, öğrenme oranı çok düşük tutulursa ya da LoRA adaptörünün kapasitesi (rank) göreve göre fazla küçük seçilirse model alan terminolojisini ve istenen cevap biçimini öğrenemez. Ortaya genel ve akıcı ama alana özgü bilgiden yoksun metinler çıkar. Bu durum, ince ayar bağlamında eksik uyumun karşılığıdır.

Belirtisi: Hem eğitim hem de doğrulama (validation) aşamasında yüksek hata ve düşük başarı. İki eğri birbirine yakındır, ancak ikisi de istenen seviyenin altındadır.

03Overfitting (Aşırı Uyum)

Modelin veriyi kural yerine ezber olarak öğrenmesi

Overfitting, modelin eğitim verisindeki gürültüyü, istisnaları ve tekil detayları genel bir kuralmış gibi öğrenmesidir. Yan-varyans çerçevesinde yüksek varyansa karşılık gelir: Model eğitim verisindeki küçük değişikliklere aşırı duyarlı hale gelir (Bishop, 2006).

Belirtisi: Eğitim hatası düşmeye devam ederken doğrulama hatası bir noktadan sonra yükselmeye başlar. Eğitim ve doğrulama başarısı arasındaki açık (generalization gap) büyür.

İnce ayar (fine-tuning) tuzakları: Küçük ve dar bir veri setiyle model çok fazla epoch boyunca eğitildiğinde:

• Model eğitim örneklerindeki cümle yapılarını ve cevapları birebir tekrarlamaya başlar.

• Farklı ifade edilmiş doğrulama sorularındaki performansı belirgin şekilde düşer.

• Ön eğitimden gelen genel yetenekler zayıflayabilir; literatürde bu durum felaket düzeyinde unutma (catastrophic forgetting) olarak anılır.

04Klasik Görüşü Genişleten Bulgular

Grokking ve double descent

Grokking: Power ve arkadaşları (2022), küçük algoritmik veri setleri (örneğin modüler aritmetik) üzerinde eğitilen ağların önce eğitim verisinde %100 doğruluğa ulaşıp uzun süre aşırı uyum durumunda kaldığını, ardından çok sayıda ek iterasyondan sonra doğrulama başarısının aniden yükseldiğini gösterdi. Bu gecikmeli genelleme, özellikle weight decay gibi düzenlileştirme yöntemleriyle belirginleşir.

Bu bulgunun pratik önemi: Doğrulama kaybı yükselmeye başladığı anda eğitimi durdurmak her zaman doğru karar olmayabilir. Ancak grokking, büyük ölçekli gerçek dünya görevlerinde genel bir kural olarak değil, belirli koşullar altında gözlenen bir olgu olarak değerlendirilmelidir.

Double descent: Belkin ve arkadaşları (2019), model kapasitesi eğitim verisini tam ezberleyebileceği eşiği geçtikten sonra test hatasının yeniden düşebildiğini gösterdi. Bu, "daha büyük model her zaman daha çok aşırı uyum demektir" şeklindeki klasik U-eğrisi görüşünün, aşırı parametreli modern ağlar için eksik kaldığını ortaya koyar.

05Karşılaştırmalı Analiz

Eksik uyum, ideal denge ve aşırı uyum yan yana

Model kapasitesi:

• Underfitting: Veri karmaşıklığına göre çok düşük.

• İdeal denge: Veri dağılımına uygun, optimize edilmiş yapı.

• Overfitting: Mevcut veri miktarına göre gereğinden fazla esnek ve kontrolsüz.

Davranışsal benzetme:

• Underfitting: Konuyu hiç çalışmamış, fikir yürütemeyen öğrenci.

• İdeal denge: Konunun mantığını kavramış, yeni sorulara uyum sağlayabilen öğrenci.

• Overfitting: Deneme sınavlarındaki soruları ve cevapları kelimesi kelimesine ezberlemiş, soru değişince bocalayan öğrenci.

Güncel çözüm yaklaşımı:

• Underfitting: Model ölçeğini veya adaptör kapasitesini artırmak, eğitimi uzatmak, düzenlileştirmeyi gevşetmek, özellik mühendisliği.

• İdeal denge: Veri kalitesi ve mimari optimizasyon.

• Overfitting: PEFT (LoRA), dropout, weight decay, erken durdurma, veri çoğaltma (data augmentation).

06Güncel Çözüm Teknikleri

Klasik yöntemlerden LLM'e özgü stratejilere

Parameter-Efficient Fine-Tuning (PEFT / LoRA): Modelin tüm ağırlıklarını güncellemek yerine, dondurulmuş ağırlıkların yanına düşük ranklı küçük adaptör matrisleri eklenir ve yalnızca bunlar eğitilir (Hu ve ark., 2021). Güncellenen parametre sayısı ciddi ölçüde azaldığı için bellek ve hesaplama maliyeti düşer; ayrıca temel modelin genel bilgisini koruyarak aşırı uyum ve unutma riskini sınırlamaya yardımcı olur. Bununla birlikte LoRA tek başına aşırı uyumu engellemez: Küçük veri ve çok epoch ile adaptörler de ezber yapabilir.

Veri kalitesi ve sentetik veri üretimi: Ezberlemeye karşı en etkili savunma veri çeşitliliğidir. LLM tabanlı sentetik veri üretim araçları (örneğin Distilabel), modelin aynı görevi farklı ifadeler ve senaryolar üzerinden görmesini sağlayarak genellemeyi destekler. Sentetik verinin kalite kontrolünden geçirilmesi ve gerçek veriyle dengelenmesi gerekir.

Erken durdurma (early stopping): Doğrulama kaybı belirli bir sabır (patience) süresi boyunca iyileşmediğinde eğitim sonlandırılır ve en iyi kontrol noktası (checkpoint) saklanır (Prechelt, 1998).

Düzenlileştirme (regularization):

• Weight decay: Büyük ağırlıklara ceza uygulayarak daha basit çözümleri teşvik eder.

• Dropout: Eğitim sırasında nöronların bir kısmını rastgele devre dışı bırakarak nöronların birbirine aşırı bağımlı hale gelmesini (co-adaptation) engeller (Srivastava ve ark., 2014).

07Sonuç

Skor değil, genelleme

Yapay zeka projelerinde asıl başarı, modeli eğitim verisinde en yüksek skora ulaştırmak değil; hiç görmediği gerçek dünya verisi karşısında esnek, kararlı ve doğru kararlar üretmesini sağlamaktır.

Grokking ve double descent gibi bulgular, eksik uyum ile aşırı uyum arasındaki sınırın sanıldığı kadar keskin olmadığını gösteriyor. Bu nedenle model ölçeği, eğitim süresi ve düzenlileştirme kararlarını tek bir kurala göre değil, doğrulama eğrilerini dikkatle izleyerek vermek gerekir.

08Kaynakça

Belkin, M., Hsu, D., Ma, S., & Mandal, S. (2019). Reconciling modern machine-learning practice and the classical bias–variance trade-off. Proceedings of the National Academy of Sciences, 116(32), 15849–15854.

• https://doi.org/10.1073/pnas.1903070116

Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.

• https://www.microsoft.com/en-us/research/publication/pattern-recognition-machine-learning/

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.

• https://www.deeplearningbook.org/

Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., Wang, L., & Chen, W. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685.

• https://arxiv.org/abs/2106.09685

Power, A., Burda, Y., Edwards, H., Babuschkin, I., & Misra, V. (2022). Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets. arXiv:2201.02177.

• https://arxiv.org/abs/2201.02177

Prechelt, L. (1998). Early Stopping – But When? In G. B. Orr & K.-R. Müller (Eds.), Neural Networks: Tricks of the Trade (Lecture Notes in Computer Science, Vol. 1524, pp. 55–69). Springer.

• https://doi.org/10.1007/3-540-49430-8_3

Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., & Salakhutdinov, R. (2014). Dropout: A Simple Way to Prevent Neural Networks from Overfitting. Journal of Machine Learning Research, 15, 1929–1958.

• https://jmlr.org/papers/v15/srivastava14a.html