Attention'ın Python'la adım adım kurulumu

# 10. derste attention'ın adımlarını tek tek gördük. Şimdi bunları tek, yeniden
# kullanılabilir bir fonksiyonda toplayalım -- gerçek kütüphanelerin (PyTorch,
# Transformers) içinde de, özünde, aynı birkaç satır var.
def dikkat(Q, K, V, maske=None):
    d_k = Q.shape[-1]
    puanlar = (Q @ K.transpose(-2, -1)) / (d_k ** 0.5)
    if maske is not None:
        puanlar = puanlar.masked_fill(maske == 0, float("-inf"))
    agirliklar = F.softmax(puanlar, dim=-1)
    cikti = agirliklar @ V
    return cikti, agirliklar

N, D = 5, 8
Q = torch.randn(N, D)
K = torch.randn(N, D)
V = torch.randn(N, D)

cikti, agirliklar = dikkat(Q, K, V)
print(f"Fonksiyon: {N} token x {D} boyut girdisiyle çağrıldı.")
print(f"Çıktı şekli: {tuple(cikti.shape)}, dikkat matrisi şekli: {tuple(agirliklar.shape)}")
print(f"Her satırın toplamı 1 mi? {torch.allclose(agirliklar.sum(-1), torch.ones(N))}")

# Bu elle yazdığımız fonksiyon, PyTorch'un yerleşik scaled_dot_product_attention'ı
# ile aynı sonucu üretiyor mu? (6. dersteki "elle RNN vs nn.RNN" doğrulamasıyla aynı mantık.)
cikti_elle, agirliklar_elle = dikkat(Q, K, V)
cikti_pytorch = F.scaled_dot_product_attention(Q, K, V)

fark = (cikti_elle - cikti_pytorch).abs().max().item()
print(f"\nElle yazılan fonksiyon ile torch.nn.functional.scaled_dot_product_attention arasındaki")
print(f"maksimum fark: {fark:.2e}")
print(f"torch.allclose ile eşleşiyor mu? {torch.allclose(cikti_elle, cikti_pytorch, atol=1e-6)}")

# Bir gerçek kullanım: bazı token'ların birbirini görmesini engellemek isteyebiliriz --
# örn. bir dil modeli, gelecekteki kelimeyi görememeli (17-18. ders, GPT'nin temeli).
# Buna "nedensel maske" (causal mask) denir: her token, sadece kendisinden öncekileri görebilir.
nedensel_maske = torch.tril(torch.ones(N, N))
print(f"\nNedensel maske (1=görebilir, 0=göremez):")
for satir in nedensel_maske.tolist():
    print(" ", [int(v) for v in satir])

_, agirliklar_maskeli = dikkat(Q, K, V, maske=nedensel_maske)
print(f"\nMaskesiz durumda token 0, token 4'e bakma ağırlığı: {agirliklar[0, 4].item():.4f}")
print(f"Maskeli durumda   token 0, token 4'e bakma ağırlığı: {agirliklar_maskeli[0, 4].item():.4f}")
print("Token 0, kendisinden sonra gelen token 4'ü artık hiç 'göremiyor' -- ağırlık tam sıfır.")
print(f"\nMaskeli token 4'ün ağırlıkları (tüm geçmişi görebilir): {[round(v,3) for v in agirliklar_maskeli[4].tolist()]}")
print(f"Maskesiz token 4'ün ağırlıkları (karşılaştırma için):    {[round(v,3) for v in agirliklar[4].tolist()]}")