GPT ile "Attention is All You Need" farkı

# 16. derste TAM bir encoder-decoder kurduk: encoder (self-attention) + decoder
# (maskeli self-attention + ÇAPRAZ dikkat + FFN). GPT (2018), bu mimariyi YARIYA
# indirdi: SADECE decoder blokları, ÇAPRAZ dikkat YOK.
D_MODEL = 512

def alt_katman_parametreleri(d_model, capraz_dikkat_var):
    self_attn = 4 * d_model * d_model  # Wq+Wk+Wv+Wo (12. ders)
    capraz_attn = 4 * d_model * d_model if capraz_dikkat_var else 0
    ffn = 2 * d_model * (4 * d_model)  # W1+W2 (15. ders)
    return self_attn + capraz_attn + ffn

encoder_decoder_blok = alt_katman_parametreleri(D_MODEL, capraz_dikkat_var=True)
gpt_blok = alt_katman_parametreleri(D_MODEL, capraz_dikkat_var=False)

print(f"Bir encoder-decoder (16. ders) decoder bloğu: {encoder_decoder_blok:,} parametre")
print(f"  (self-attention + ÇAPRAZ dikkat + FFN)")
print(f"Bir GPT-tarzı (decoder-only) blok:            {gpt_blok:,} parametre")
print(f"  (SADECE self-attention + FFN -- çapraz dikkat YOK)")
print(f"\nGPT bloğu, encoder-decoder bloğunun %{100*gpt_blok/encoder_decoder_blok:.0f}'i kadar parametre kullanıyor --")
print("kalan fark TAMAMEN çapraz dikkat katmanının (Wq+Wk+Wv+Wo) yokluğundan geliyor.")

# Bu mimari fark, EĞİTİM VERİSİ ihtiyacını da DEĞİŞTİRİR.
print("\nEncoder-decoder (16. ders): EŞLEŞTİRİLMİŞ (kaynak, hedef) çiftleri gerektirir")
print("  örn. (Türkçe cümle, İngilizce çevirisi) -- bu veri PAHALI ve SINIRLI.")
print("\nGPT (decoder-only): SADECE düz metin yeterli -- 'bir sonraki kelimeyi tahmin et'")
print("  görevi, İNTERNETTEKİ HERHANGİ bir metinden (etiketleme gerektirmeden) öğrenilebilir.")
print("  Bu fark, GPT'nin NEDEN bu kadar BÜYÜK veriyle eğitilebildiğini açıklıyor.")

# 14. derste "post-norm" (LayerNorm(x + Alt(x))) kullandık -- orijinal 2017 makalesi
# BUNU kullanıyordu. GPT-2 ve sonrası İSE "pre-norm" (x + Alt(LayerNorm(x))) kullanır.
# Bu, sadece bir DETAY mı, yoksa SONUCU DEĞİŞTİREN bir seçim mi?
def alt_katman(boyut, seed, std=0.2):
    torch.manual_seed(seed)
    katman = nn.Linear(boyut, boyut)
    nn.init.normal_(katman.weight, std=std)
    return katman

def gradyan_olc(derinlik, mod, boyut=16):
    torch.manual_seed(1)
    x = torch.randn(1, boyut, requires_grad=True)
    h = x
    for i in range(derinlik):
        katman = alt_katman(boyut, seed=100 + i)
        norm = nn.LayerNorm(boyut)
        if mod == "post":
            h = norm(h + torch.tanh(katman(h)))          # orijinal makale
        else:
            h = h + torch.tanh(katman(norm(h)))            # GPT-2+
    kayip = h.sum()
    kayip.backward()
    return x.grad.norm().item()

print(f"\n{'Derinlik':<10} {'Post-norm (2017 makale)':<26} {'Pre-norm (GPT-2+)':<20}")
for derinlik in [10, 50, 100]:
    g_post = gradyan_olc(derinlik, "post")
    g_pre = gradyan_olc(derinlik, "pre")
    print(f"{derinlik:<10} {g_post:<26.2e} {g_pre:<20.2e}")
print("\nPost-norm'da, 10 katman sonra bile gradyan TAM SIFIRA çöküyor (sayısal underflow) --")
print("derin bir GPT'yi (96+ katman) post-norm ile eğitmek NEREDEYSE İMKANSIZ olurdu.")
print("Pre-norm'da, 100 katmanda bile gradyan SAĞLIKLI kalıyor -- GPT'nin NEDEN pre-norm")
print("seçtiğinin doğrudan nedeni bu.")