Position-wise feed-forward ağ

# 10-14. derste attention, token'ları BİRBİRİYLE karşılaştırdı. Şimdi Transformer
# bloğunun İKİNCİ yarısı: position-wise feed-forward ağ (FFN). "Position-wise" kelimesi
# TAM OLARAK ne demek? Test edelim: AYNI ağırlıkları HER token'a AYRI AYRI mı, yoksa
# TÜM diziye BİRDEN mi uyguluyor?
D, D_FF, N = 8, 32, 5
ffn = nn.Sequential(nn.Linear(D, D_FF), nn.GELU(), nn.Linear(D_FF, D))

X = torch.randn(N, D)

# Yöntem 1: TÜM diziyi TEK seferde işle.
cikti_toplu = ffn(X)

# Yöntem 2: HER token'ı TEK TEK, DÖNGÜYLE işle.
cikti_tek_tek = torch.stack([ffn(X[i]) for i in range(N)])

fark = (cikti_toplu - cikti_tek_tek).abs().max().item()
print(f"Tüm diziyi birden işlemek ile her token'ı tek tek işlemek arasındaki fark: {fark:.2e}")
print(f"torch.allclose: {torch.allclose(cikti_toplu, cikti_tek_tek, atol=1e-6)}")
print("\nFFN, AYNI ağırlıkları HER token'a BAĞIMSIZ uyguluyor -- 'position-wise' tam olarak bunu")
print("ifade ediyor: konum FARK ETMEZ, HER token AYNI dönüşümden geçer, TEK TEK işlenmiş gibi.")

# Peki bu, attention'dan NASIL farklı? Attention'da bir token'ın çıktısı, DİĞER
# token'lara BAĞLIDIR. FFN'de İSE değil. Bunu KANITLAYALIM: bir token'ı değiştirip,
# DİĞER token'ların çıktısının DEĞİŞİP DEĞİŞMEDİĞİNE bakalım.
def basit_attention(X, Wq, Wk, Wv):
    Q, K, V = X @ Wq, X @ Wk, X @ Wv
    puanlar = (Q @ K.transpose(-2, -1)) / (D ** 0.5)
    agirliklar = F.softmax(puanlar, dim=-1)
    return agirliklar @ V

Wq, Wk, Wv = torch.randn(D, D) * 0.5, torch.randn(D, D) * 0.5, torch.randn(D, D) * 0.5

X_degisik = X.clone()
X_degisik[0] = torch.randn(D) * 5  # SADECE 0. token'ı büyük ölçüde değiştir

attn_once = basit_attention(X, Wq, Wk, Wv)
attn_sonra = basit_attention(X_degisik, Wq, Wk, Wv)
ffn_once = ffn(X)
ffn_sonra = ffn(X_degisik)

print(f"\n0. token DEĞİŞTİRİLDİ, DİĞER token'ların (1-4) çıktısı ne kadar değişti?")
print(f"{'Token':<8} {'Attention farkı':<20} {'FFN farkı':<20}")
for i in range(1, N):
    attn_fark = (attn_once[i] - attn_sonra[i]).abs().max().item()
    ffn_fark = (ffn_once[i] - ffn_sonra[i]).abs().max().item()
    print(f"{i:<8} {attn_fark:<20.4f} {ffn_fark:<20.2e}")
print("\nAttention'da DİĞER token'ların çıktısı da DEĞİŞTİ (0. token'a 'bakıyorlardı').")
print("FFN'de DİĞER token'ların çıktısı HİÇ DEĞİŞMEDİ (fark tam 0) -- FFN, token'lar ARASI")
print("bilgi TAŞIMIYOR; bu iş TAMAMEN attention'a ait. FFN sadece HER token'ı KENDİ İÇİNDE işliyor.")

# Gerçek "Attention is All You Need" makalesindeki boyutlarla parametre sayısı:
D_MODEL, D_FF_GERCEK = 512, 2048
ffn_gercek = nn.Sequential(nn.Linear(D_MODEL, D_FF_GERCEK), nn.GELU(), nn.Linear(D_FF_GERCEK, D_MODEL))
parametre_sayisi = sum(p.numel() for p in ffn_gercek.parameters())
attention_parametre = 4 * D_MODEL * D_MODEL  # Wq + Wk + Wv + Wo (12. ders), hepsi d_model x d_model
print(f"\nGerçek ölçek: d_model={D_MODEL}, d_ff={D_FF_GERCEK} (= 4 x d_model)")
print(f"TEK bir FFN alt-katmanının parametre sayısı: {parametre_sayisi:,}")
print(f"Karşılaştırma: AYNI boyuttaki TÜM multi-head attention alt-katmanının (Wq+Wk+Wv+Wo) parametre sayısı: {attention_parametre:,}")
print(f"FFN/Attention oranı: {parametre_sayisi / attention_parametre:.2f}x")
print("FFN, Transformer'ın parametrelerinin BÜYÜK bir kısmını oluşturur --")
print("'bilginin nerede SAKLANDIĞI' sorusunun cevabının BÜYÜK kısmı burada.")