Position-wise feed-forward ağ

# 10-14. derste attention, token'ları birbiriyle karşılaştırdı. Şimdi Transformer
# bloğunun ikinci yarısı: position-wise feed-forward ağ (FFN). "Position-wise" kelimesi
# tam olarak ne demek? Test edelim: aynı ağırlıkları her token'a ayrı ayrı mı, yoksa
# tüm diziye birden mi uyguluyor?
D, D_FF, N = 8, 32, 5
ffn = nn.Sequential(nn.Linear(D, D_FF), nn.GELU(), nn.Linear(D_FF, D))

X = torch.randn(N, D)

# Yöntem 1: tüm diziyi tek seferde işle.
cikti_toplu = ffn(X)

# Yöntem 2: her token'ı tek tek, döngüyle işle.
cikti_tek_tek = torch.stack([ffn(X[i]) for i in range(N)])

fark = (cikti_toplu - cikti_tek_tek).abs().max().item()
print(f"Tüm diziyi birden işlemek ile her token'ı tek tek işlemek arasındaki fark: {fark:.2e}")
print(f"torch.allclose: {torch.allclose(cikti_toplu, cikti_tek_tek, atol=1e-6)}")
print("\nFFN, aynı ağırlıkları her token'a bağımsız uyguluyor -- 'position-wise' tam olarak bunu")
print("ifade ediyor: konum fark etmez, her token aynı dönüşümden geçer, tek tek işlenmiş gibi.")

# Peki bu, attention'dan nasıl farklı? Attention'da bir token'ın çıktısı, diğer
# token'lara bağlıdır. FFN'de ise değil. Bunu kanıtlayalım: bir token'ı değiştirip,
# diğer token'ların çıktısının değişip değişmediğine bakalım.
def basit_attention(X, Wq, Wk, Wv):
    Q, K, V = X @ Wq, X @ Wk, X @ Wv
    puanlar = (Q @ K.transpose(-2, -1)) / (D ** 0.5)
    agirliklar = F.softmax(puanlar, dim=-1)
    return agirliklar @ V

Wq, Wk, Wv = torch.randn(D, D) * 0.5, torch.randn(D, D) * 0.5, torch.randn(D, D) * 0.5

X_degisik = X.clone()
X_degisik[0] = torch.randn(D) * 5  # Sadece 0. token'ı büyük ölçüde değiştir

attn_once = basit_attention(X, Wq, Wk, Wv)
attn_sonra = basit_attention(X_degisik, Wq, Wk, Wv)
ffn_once = ffn(X)
ffn_sonra = ffn(X_degisik)

print(f"\n0. token değiştirildi, diğer token'ların (1-4) çıktısı ne kadar değişti?")
print(f"{'Token':<8} {'Attention farkı':<20} {'FFN farkı':<20}")
for i in range(1, N):
    attn_fark = (attn_once[i] - attn_sonra[i]).abs().max().item()
    ffn_fark = (ffn_once[i] - ffn_sonra[i]).abs().max().item()
    print(f"{i:<8} {attn_fark:<20.4f} {ffn_fark:<20.2e}")
print("\nAttention'da diğer token'ların çıktısı da değişti (0. token'a 'bakıyorlardı').")
print("FFN'de diğer token'ların çıktısı hiç değişmedi (fark tam 0) -- FFN, token'lar arası")
print("bilgi taşımıyor; bu iş tamamen attention'a ait. FFN sadece her token'ı kendi içinde işliyor.")

# Gerçek "Attention is All You Need" makalesindeki boyutlarla parametre sayısı:
D_MODEL, D_FF_GERCEK = 512, 2048
ffn_gercek = nn.Sequential(nn.Linear(D_MODEL, D_FF_GERCEK), nn.GELU(), nn.Linear(D_FF_GERCEK, D_MODEL))
parametre_sayisi = sum(p.numel() for p in ffn_gercek.parameters())
attention_parametre = 4 * D_MODEL * D_MODEL  # Wq + Wk + Wv + Wo (12. ders), hepsi d_model x d_model
print(f"\nGerçek ölçek: d_model={D_MODEL}, d_ff={D_FF_GERCEK} (= 4 x d_model)")
print(f"Tek bir FFN alt-katmanının parametre sayısı: {parametre_sayisi:,}")
print(f"Karşılaştırma: aynı boyuttaki tüm multi-head attention alt-katmanının (Wq+Wk+Wv+Wo) parametre sayısı: {attention_parametre:,}")
print(f"FFN/Attention oranı: {parametre_sayisi / attention_parametre:.2f}x")
print("FFN, Transformer'ın parametrelerinin büyük bir kısmını oluşturur --")
print("'bilginin nerede saklandığı' sorusunun cevabının büyük kısmı burada.")