Dil modeli nedir, ne yapar

# "Dil modeli" tek bir şey yapar: bir bağlam (context) verildiğinde, kelime
# dağarcığındaki her token'ın "sıradaki token olma olasılığını" hesaplar --
# P(x_t | x_1, ..., x_{t-1}). Hepsi bu kadar. 9-19. derste kurduğumuz her şey,
# bu tek fonksiyonu hesaplamak içindi.
model = MiniGPT(V, D, PENCERE)
optimize_edici = torch.optim.Adam(model.parameters(), lr=0.01)
for adim in range(400):
    baslangic = torch.randint(0, len(ids) - PENCERE - 1, (8,))
    girdi = torch.stack([ids[b:b + PENCERE] for b in baslangic])
    hedef = torch.stack([ids[b + 1:b + PENCERE + 1] for b in baslangic])
    logit = model(girdi)
    kayip = F.cross_entropy(logit.reshape(-1, V), hedef.reshape(-1))
    optimize_edici.zero_grad()
    kayip.backward()
    optimize_edici.step()
print(f"Eğitim tamamlandı, son kayıp: {kayip.item():.6f}")

model.eval()
print("\nFarklı bağlamlar için P(sıradaki token | bağlam):")
for baglam in ["A", "AB", "ABC", "ABCA", "BC", "C"]:
    girdi_ids = torch.tensor([[stoi[c] for c in baglam]])
    with torch.no_grad():
        olasiliklar = F.softmax(model(girdi_ids)[0, -1], dim=-1)
    dagilim = ", ".join(f"{t}={p:.3f}" for t, p in zip(VOCAB, olasiliklar.tolist()))
    print(f"  '{baglam}' -> {dagilim}")
print("\nModel, hiç görmediği bir bağlam uzunluğunda bile (örn. tek başına 'C'), 'sıradaki A'")
print("kuralını doğru uyguluyor -- spesifik dizileri ezberlemedi, genel bir kuralı öğrendi.")

# Bir dil modelini nasıl "puanlarız"? Standart metrik: şaşırma (perplexity) = exp(kayıp).
# Sezgi: model her adımda, ortalama kaç kelime arasında 'kararsız' kalıyor?
egitilmis_kayip = kayip.item()
egitilmis_sasirma = math.exp(egitilmis_kayip)

model_egitilmemis = MiniGPT(V, D, PENCERE)  # Rastgele ağırlıklarla, hiç eğitilmemiş
with torch.no_grad():
    baglam_hepsi = torch.stack([ids[b:b + PENCERE] for b in range(len(ids) - PENCERE - 1)])
    hedef_hepsi = torch.stack([ids[b + 1:b + PENCERE + 1] for b in range(len(ids) - PENCERE - 1)])
    kayip_egitilmemis = F.cross_entropy(model_egitilmemis(baglam_hepsi).reshape(-1, V), hedef_hepsi.reshape(-1))
sasirma_egitilmemis = math.exp(kayip_egitilmemis.item())

print(f"\nEğitilmemiş (rastgele) model: kayıp={kayip_egitilmemis.item():.3f}, şaşırma={sasirma_egitilmemis:.2f}")
print(f"Eğitilmiş model:              kayıp={egitilmis_kayip:.6f}, şaşırma={egitilmis_sasirma:.4f}")
print(f"\nKarşılaştırma noktası: her token'a eşit olasılık veren bir model için şaşırma tam olarak V={V} olurdu.")
print(f"Rastgele ağırlıklı model ({sasirma_egitilmemis:.2f}) bunun bile üstünde -- rastgele logitler bazı yanlış")
print("token'lara fazladan güven veriyor; model hiçbir şey öğrenmemiş, 'eşit kararsız' bile değil.")
print(f"Eğitilmiş modelin şaşırması {egitilmis_sasirma:.2f}'e (neredeyse '1 kelime arasında hiç kararsız değil')")
print("çok yakın -- model, örüntüyü neredeyse kusursuz öğrendi.")

# "Dil modeli" ifadesi, sadece düz metin tamamlamayı değil, doğru şekilde
# çerçevelenen (framed) her göreve uygulanabilir -- 6. kategorinin (Prompt
# Mühendisliği) tüm temeli bu gözlemdir.
print("\nAynı model, aynı mekanizmayla (sadece 'sıradaki token'ı tahmin et'), farklı şekilde")
print("çerçevelenen görevleri 'çözebilir':")
print("  Çeviri:     'Kedi -> Cat, Köpek -> Dog, Kuş -> ???' (sıradaki token: 'Bird')")
print("  Özetleme:   '[Uzun makale] TL;dr: ???' (sıradaki token'lar: özet)")
print("  Soru-cevap: 'Fransa'nın başkenti ???' (sıradaki token: 'Paris')")
print("\nBu, GPT-3'ün (2020) en çarpıcı bulgusuydu: ayrı bir 'çeviri modeli' veya 'özetleme")
print("modeli' eğitmeye gerek yok -- tek bir dil modeli, doğru istemle (prompt) hepsini yapabiliyor.")