Transformer'ın eğitimi ve çıkarımı

# Eğitimde "öğretmen zorlaması" (teacher forcing) kullanılır: decoder'a her zaman
# gerçek (doğru) önceki token'lar verilir -- kendi (belki yanlış) tahminleri değil.
model = MiniDecoder(V, D, PENCERE)
optimize_edici = torch.optim.Adam(model.parameters(), lr=0.01)
kayip_gecmisi = []

for adim in range(400):
    baslangic = torch.randint(0, len(ids) - PENCERE - 1, (8,))
    girdi = torch.stack([ids[b:b + PENCERE] for b in baslangic])       # Gerçek önceki token'lar
    hedef = torch.stack([ids[b + 1:b + PENCERE + 1] for b in baslangic])  # bir sonraki gerçek token
    logits = model(girdi)
    kayip = F.cross_entropy(logits.reshape(-1, V), hedef.reshape(-1))
    optimize_edici.zero_grad()
    kayip.backward()
    optimize_edici.step()
    kayip_gecmisi.append(kayip.item())
    if adim % 100 == 0:
        print(f"adım {adim:<5} kayıp={kayip.item():.4f}")
print(f"adım {399:<5} kayıp={kayip_gecmisi[-1]:.6f}")
print("\nModel, 'ABCABCABC...' örüntüsünü gerçek (doğru) bağlamla eğitildi -- kayıp neredeyse sıfıra indi.")

# Eğitimde bir büyük avantaj var: 11. dersteki nedensel maske sayesinde, pencere'deki
# tüm 8 pozisyonun kaybı tek bir matris işleminde (paralel) hesaplanır. Çıkarımda
# (inference) ise, her yeni token'ı üretmek için tüm geçmişi yeniden beklemek gerekir --
# 8. dersteki "sıralı hesaplamanın maliyeti" konusunun aynısı, şimdi üretim aşamasında.
def egitim_ileri_gecisi_sure(tekrar=200):
    girdi = torch.stack([ids[b:b + PENCERE] for b in torch.randint(0, len(ids) - PENCERE - 1, (8,))])
    with torch.no_grad():
        baslangic = time.perf_counter()
        for _ in range(tekrar):
            model(girdi)  # Tek çağrı, 8 pozisyonun hepsini birden işler
        return (time.perf_counter() - baslangic) / tekrar

def cikarim_uretim_sure(uzunluk=8, tekrar=200):
    with torch.no_grad():
        baslangic = time.perf_counter()
        for _ in range(tekrar):
            uretilen = [stoi["A"]]
            for _ in range(uzunluk):
                pencere_ids = torch.tensor(uretilen[-PENCERE:]).unsqueeze(0)
                model(pencere_ids)  # Her token için ayrı bir çağrı
                uretilen.append(0)
        return (time.perf_counter() - baslangic) / tekrar

egitim_suresi = egitim_ileri_gecisi_sure()
cikarim_suresi = cikarim_uretim_sure()
print(f"\n8 pozisyonluk bir pencereyi eğitimde işlemek (tek paralel çağrı): {egitim_suresi*1000:.3f} ms")
print(f"8 token'lık bir diziyi çıkarımda üretmek (8 ayrı sıralı çağrı):  {cikarim_suresi*1000:.3f} ms")
print(f"Çıkarım, eğitimin {cikarim_suresi/egitim_suresi:.1f} katı yavaş -- aynı iş, ama sıralı yapılmak zorunda.")

# Şimdi gerçek çıkarımı (autoregressive generation) çalıştıralım: model, kendi
# ürettiği token'ları bir sonraki adımın girdisi olarak kullanır.
model.eval()
uretilen = [stoi["A"]]
with torch.no_grad():
    for _ in range(20):
        pencere_ids = torch.tensor(uretilen[-PENCERE:]).unsqueeze(0)
        logits = model(pencere_ids)
        sonraki = logits[0, -1].argmax().item()
        uretilen.append(sonraki)
uretilen_metin = "".join(VOCAB[i] for i in uretilen)
print(f"\n'A' tohumundan başlayarak, model kendi tahminleriyle 20 token üretti:")
print(f"  {uretilen_metin}")
print("Model, öğretmen zorlaması olmadan, sadece kendi çıktısını kullanarak örüntüyü doğru sürdürdü.")

# Eğitim ve çıkarım arasındaki gizli bir uyumsuzluk: eğitimde model hiçbir zaman
# kendi hatalı bir tahminini görmedi (her zaman gerçek bağlamla beslendi). Çıkarımda
# ise erken bir hata, tüm sonraki bağlamı bozabilir. Buna "maruz kalma önyargısı"
# (exposure bias) denir. Elle bir hata enjekte edip test edelim:
uretilen_bozuk = [stoi["A"], stoi["B"], stoi["C"], stoi["A"]]
uretilen_bozuk.append(stoi["A"])  # Yanlış token -- doğrusu 'B' olmalıydı
with torch.no_grad():
    for _ in range(10):
        pencere_ids = torch.tensor(uretilen_bozuk[-PENCERE:]).unsqueeze(0)
        logits = model(pencere_ids)
        sonraki = logits[0, -1].argmax().item()
        uretilen_bozuk.append(sonraki)
bozuk_metin = "".join(VOCAB[i] for i in uretilen_bozuk)
print(f"\nElle bozulan dizi (5. karakter yanlış 'A' yapıldı): {bozuk_metin}")
print("Bu özel örnekte model hızla toparlandı -- çünkü 'ABC' örüntüsü son iki karaktere bakarak")
print("her yerden yeniden başlatılabilir (aşırı redundant/öngörülebilir bir dil). Gerçek doğal dilde")
print("bağlam çok daha az öngörülebilir olduğu için, erken bir hata genelde daha kalıcı bozulmaya yol açar --")
print("bu yüzden 'maruz kalma önyargısı' büyük dil modellerinde ciddi bir araştırma konusudur.")