Attention'ın Python'la adım adım kurulumu

# 10. derste attention'ın adımlarını TEK TEK gördük. Şimdi bunları TEK, YENİDEN
# KULLANILABİLİR bir fonksiyonda toplayalım -- gerçek kütüphanelerin (PyTorch,
# Transformers) İÇİNDE de, özünde, AYNI birkaç satır var.
def dikkat(Q, K, V, maske=None):
    d_k = Q.shape[-1]
    puanlar = (Q @ K.transpose(-2, -1)) / (d_k ** 0.5)
    if maske is not None:
        puanlar = puanlar.masked_fill(maske == 0, float("-inf"))
    agirliklar = F.softmax(puanlar, dim=-1)
    cikti = agirliklar @ V
    return cikti, agirliklar

N, D = 5, 8
Q = torch.randn(N, D)
K = torch.randn(N, D)
V = torch.randn(N, D)

cikti, agirliklar = dikkat(Q, K, V)
print(f"Fonksiyon: {N} token x {D} boyut girdisiyle çağrıldı.")
print(f"Çıktı şekli: {tuple(cikti.shape)}, dikkat matrisi şekli: {tuple(agirliklar.shape)}")
print(f"Her satırın toplamı 1 mi? {torch.allclose(agirliklar.sum(-1), torch.ones(N))}")

# Bu ELLE yazdığımız fonksiyon, PyTorch'un YERLEŞİK scaled_dot_product_attention'ı
# ile AYNI sonucu üretiyor mu? (6. dersteki "elle RNN vs nn.RNN" doğrulamasıyla AYNI mantık.)
cikti_elle, agirliklar_elle = dikkat(Q, K, V)
cikti_pytorch = F.scaled_dot_product_attention(Q, K, V)

fark = (cikti_elle - cikti_pytorch).abs().max().item()
print(f"\nElle yazılan fonksiyon ile torch.nn.functional.scaled_dot_product_attention arasındaki")
print(f"MAKSİMUM fark: {fark:.2e}")
print(f"torch.allclose ile eşleşiyor mu? {torch.allclose(cikti_elle, cikti_pytorch, atol=1e-6)}")

# Bir GERÇEK kullanım: bazı token'ların BİRBİRİNİ görmesini ENGELLEMEK isteyebiliriz --
# örn. bir dil modeli, GELECEKTEKİ kelimeyi GÖREMEMELİ (17-18. ders, GPT'nin temeli).
# Buna "nedensel maske" (causal mask) denir: her token, sadece KENDİSİNDEN ÖNCEKİLERİ görebilir.
nedensel_maske = torch.tril(torch.ones(N, N))
print(f"\nNedensel maske (1=görebilir, 0=göremez):")
for satir in nedensel_maske.tolist():
    print(" ", [int(v) for v in satir])

_, agirliklar_maskeli = dikkat(Q, K, V, maske=nedensel_maske)
print(f"\nMaskesiz durumda token 0, token 4'e bakma ağırlığı: {agirliklar[0, 4].item():.4f}")
print(f"Maskeli durumda   token 0, token 4'e bakma ağırlığı: {agirliklar_maskeli[0, 4].item():.4f}")
print("Token 0, kendisinden SONRA gelen token 4'ü artık HİÇ 'göremiyor' -- ağırlık TAM SIFIR.")
print(f"\nMaskeli token 4'ün ağırlıkları (TÜM geçmişi görebilir): {[round(v,3) for v in agirliklar_maskeli[4].tolist()]}")
print(f"Maskesiz token 4'ün ağırlıkları (karşılaştırma için):    {[round(v,3) for v in agirliklar[4].tolist()]}")