GPT ile "Attention is All You Need" farkı

# 16. derste tam bir encoder-decoder kurduk: encoder (self-attention) + decoder
# (maskeli self-attention + çapraz dikkat + FFN). GPT (2018), bu mimariyi yarıya
# indirdi: sadece decoder blokları, çapraz dikkat yok.
D_MODEL = 512

def alt_katman_parametreleri(d_model, capraz_dikkat_var):
    self_attn = 4 * d_model * d_model  # Wq+Wk+Wv+Wo (12. ders)
    capraz_attn = 4 * d_model * d_model if capraz_dikkat_var else 0
    ffn = 2 * d_model * (4 * d_model)  # W1+W2 (15. ders)
    return self_attn + capraz_attn + ffn

encoder_decoder_blok = alt_katman_parametreleri(D_MODEL, capraz_dikkat_var=True)
gpt_blok = alt_katman_parametreleri(D_MODEL, capraz_dikkat_var=False)

print(f"Bir encoder-decoder (16. ders) decoder bloğu: {encoder_decoder_blok:,} parametre")
print(f"  (self-attention + çapraz dikkat + FFN)")
print(f"Bir GPT-tarzı (decoder-only) blok:            {gpt_blok:,} parametre")
print(f"  (Sadece self-attention + FFN -- çapraz dikkat yok)")
print(f"\nGPT bloğu, encoder-decoder bloğunun %{100*gpt_blok/encoder_decoder_blok:.0f}'i kadar parametre kullanıyor --")
print("kalan fark tamamen çapraz dikkat katmanının (Wq+Wk+Wv+Wo) yokluğundan geliyor.")

# Bu mimari fark, eğitim verisi ihtiyacını da değiştirir.
print("\nEncoder-decoder (16. ders): eşleştirilmiş (kaynak, hedef) çiftleri gerektirir")
print("  örn. (Türkçe cümle, İngilizce çevirisi) -- bu veri pahalı ve sınırlı.")
print("\nGPT (decoder-only): sadece düz metin yeterli -- 'bir sonraki kelimeyi tahmin et'")
print("  görevi, internetteki herhangi bir metinden (etiketleme gerektirmeden) öğrenilebilir.")
print("  Bu fark, GPT'nin neden bu kadar büyük veriyle eğitilebildiğini açıklıyor.")

# 14. derste "post-norm" (LayerNorm(x + Alt(x))) kullandık -- orijinal 2017 makalesi
# bunu kullanıyordu. GPT-2 ve sonrası ise "pre-norm" (x + Alt(LayerNorm(x))) kullanır.
# Bu, sadece bir detay mı, yoksa sonucu değiştiren bir seçim mi?
def alt_katman(boyut, seed, std=0.5):
    torch.manual_seed(seed)
    katman = nn.Linear(boyut, boyut)
    nn.init.normal_(katman.weight, std=std)
    return katman

# Kayıp: çıktının sabit, rastgele bir yöndeki izdüşümü. (Kayıp olarak h.sum() kullanılamaz:
# post-norm'da son işlem LayerNorm olduğu için çıktının toplamı her zaman ~0'dır ve
# gradyan, derinlikten bağımsız olarak sıfır çıkar -- yanıltıcı bir "çöküş" görürdük.)
KAYIP_YONU = torch.randn(1, 16, generator=torch.Generator().manual_seed(7))

def gradyan_olc(derinlik, mod, boyut=16):
    torch.manual_seed(1)
    x = torch.randn(1, boyut, requires_grad=True)
    h = x
    for i in range(derinlik):
        katman = alt_katman(boyut, seed=100 + i)
        norm = nn.LayerNorm(boyut)
        if mod == "post":
            h = norm(h + torch.tanh(katman(h)))          # orijinal makale
        else:
            h = h + torch.tanh(katman(norm(h)))            # GPT-2+
    kayip = (h * KAYIP_YONU).sum()
    kayip.backward()
    return x.grad.norm().item()

print(f"\n{'Derinlik':<10} {'Post-norm (2017 makale)':<26} {'Pre-norm (GPT-2+)':<20}")
sonuclar = {}
for derinlik in [1, 10, 50, 100]:
    sonuclar[derinlik] = (gradyan_olc(derinlik, "post"), gradyan_olc(derinlik, "pre"))
    print(f"{derinlik:<10} {sonuclar[derinlik][0]:<26.2e} {sonuclar[derinlik][1]:<20.2e}")

post_kat = sonuclar[100][0] / sonuclar[1][0]
pre_kat = sonuclar[100][1] / sonuclar[1][1]
post_kat_yazi = f"{post_kat:,.0f}".replace(",", ".")  # Türkçe binlik ayracı
print(f"\nPost-norm'da gradyan, 1 katmandan 100 katmana {post_kat_yazi} kat büyüyor -- her katmandaki")
print("LayerNorm gradyanı bir öncekinin üzerine çarparak ölçekliyor, etki derinlikle üstel birikiyor.")
print("(Alt katmanlar daha zayıf olsaydı aynı çarpım gradyanı söndürecekti: derin post-norm'da gradyanın")
print("büyüklüğü kontrolsüz -- orijinal Transformer bu yüzden dikkatli bir 'öğrenme oranı ısınması' ister.)")
print(f"Pre-norm'da '+x' kestirme yolu hiçbir normalizasyondan geçmiyor: aynı aralıkta değişim yalnızca")
print(f"{pre_kat:.1f} kat -- gradyan 100 katmanda bile makul aralıkta. GPT'nin pre-norm seçmesinin nedeni bu.")