Dil modeli nedir, ne yapar

# "Dil modeli" TEK bir şey yapar: bir bağlam (context) verildiğinde, kelime
# dağarcığındaki HER token'ın "sıradaki token olma OLASILIĞINI" hesaplar --
# P(x_t | x_1, ..., x_{t-1}). Hepsi bu kadar. 9-19. derste kurduğumuz HER ŞEY,
# bu TEK fonksiyonu hesaplamak içindi.
model = MiniGPT(V, D, PENCERE)
optimize_edici = torch.optim.Adam(model.parameters(), lr=0.01)
for adim in range(400):
    baslangic = torch.randint(0, len(ids) - PENCERE - 1, (8,))
    girdi = torch.stack([ids[b:b + PENCERE] for b in baslangic])
    hedef = torch.stack([ids[b + 1:b + PENCERE + 1] for b in baslangic])
    logit = model(girdi)
    kayip = F.cross_entropy(logit.reshape(-1, V), hedef.reshape(-1))
    optimize_edici.zero_grad()
    kayip.backward()
    optimize_edici.step()
print(f"Eğitim tamamlandı, son kayıp: {kayip.item():.6f}")

model.eval()
print("\nFARKLI bağlamlar için P(sıradaki token | bağlam):")
for baglam in ["A", "AB", "ABC", "ABCA", "BC", "C"]:
    girdi_ids = torch.tensor([[stoi[c] for c in baglam]])
    with torch.no_grad():
        olasiliklar = F.softmax(model(girdi_ids)[0, -1], dim=-1)
    dagilim = ", ".join(f"{t}={p:.3f}" for t, p in zip(VOCAB, olasiliklar.tolist()))
    print(f"  '{baglam}' -> {dagilim}")
print("\nModel, HİÇ görmediği bir bağlam UZUNLUĞUNDA bile (örn. tek başına 'C'), 'sıradaki A'")
print("kuralını doğru uyguluyor -- SPESİFİK dizileri EZBERLEMEDİ, GENEL bir kuralı ÖĞRENDİ.")

# Bir dil modelini NASIL "puanlarız"? Standart metrik: şaşırma (perplexity) = exp(kayıp).
# Sezgi: model HER adımda, ortalama KAÇ kelime arasında 'kararsız' kalıyor?
egitilmis_kayip = kayip.item()
egitilmis_sasirma = math.exp(egitilmis_kayip)

model_egitilmemis = MiniGPT(V, D, PENCERE)  # RASTGELE ağırlıklarla, hiç eğitilmemiş
with torch.no_grad():
    baglam_hepsi = torch.stack([ids[b:b + PENCERE] for b in range(len(ids) - PENCERE - 1)])
    hedef_hepsi = torch.stack([ids[b + 1:b + PENCERE + 1] for b in range(len(ids) - PENCERE - 1)])
    kayip_egitilmemis = F.cross_entropy(model_egitilmemis(baglam_hepsi).reshape(-1, V), hedef_hepsi.reshape(-1))
sasirma_egitilmemis = math.exp(kayip_egitilmemis.item())

print(f"\nEğitilmemiş (rastgele) model: kayıp={kayip_egitilmemis.item():.3f}, şaşırma={sasirma_egitilmemis:.2f}")
print(f"Eğitilmiş model:              kayıp={egitilmis_kayip:.6f}, şaşırma={egitilmis_sasirma:.4f}")
print(f"\nKelime dağarcığı boyutu (V={V}) ile karşılaştır: rastgele bir model için şaşırma ~V'ye yakın olmalı")
print(f"(HER token EŞİT olası olduğundan) -- {sasirma_egitilmemis:.2f} ~ {V} ile TUTARLI.")
print(f"Eğitilmiş modelin şaşırması {egitilmis_sasirma:.2f}'e (neredeyse '1 kelime arasında hiç kararsız değil')")
print("çok yakın -- model, örüntüyü NEREDEYSE KUSURSUZ öğrendi.")

# "Dil modeli" ifadesi, SADECE düz metin tamamlamayı DEĞİL, doğru şekilde
# ÇERÇEVELENEN (framed) HER göreve uygulanabilir -- 6. kategorinin (Prompt
# Mühendisliği) TÜM temeli bu gözlemdir.
print("\nAYNI model, AYNI mekanizmayla (sadece 'sıradaki token'ı tahmin et'), farklı ŞEKİLDE")
print("çerçevelenen görevleri 'çözebilir':")
print("  Çeviri:     'Kedi -> Cat, Köpek -> Dog, Kuş -> ???' (sıradaki token: 'Bird')")
print("  Özetleme:   '[Uzun makale] TL;DR: ???' (sıradaki token'lar: özet)")
print("  Soru-cevap: 'Fransa'nın başkenti ???' (sıradaki token: 'Paris')")
print("\nBu, GPT-3'ün (2020) en çarpıcı bulgusuydu: ayrı bir 'çeviri modeli' veya 'özetleme")
print("modeli' EĞİTMEYE gerek YOK -- TEK bir dil modeli, doğru İSTEMLE (prompt) hepsini yapabiliyor.")