Self-attention mekaniği (Q, K, V)

# 9. derste tek bir dışsal sorgu vardı. Self-attention'da fark şu: her token,
# diğer tüm token'lar için (kendisi dahil) bir sorgu üretir -- yani dikkat,
# dizinin içinde, kendi kendine kuruluyor.
TOKENLER = ["Kedi", "masaya", "çıktı", "çünkü", "o", "yorulmuştu"]
D = 4  # gömme boyutu (öğretici amaçlı küçük tutuldu)

# Öğretici amaçlı elle tasarlanmış gömmeler (gerçekte öğrenilir):
X = torch.tensor([
    [1.5, 0.0, 0.0, 0.0],   # Kedi
    [0.0, 1.5, 0.0, 0.0],   # masaya
    [0.3, 0.3, 1.2, 0.0],   # çıktı
    [0.0, 0.0, 0.0, 1.0],   # çünkü
    [1.3, 0.0, 0.0, 0.1],   # o
    [0.2, 0.0, 0.9, 0.1],   # yorulmuştu
])
print(f'Cümle: "Kedi masaya çıktı çünkü o yorulmuştu"')
print(f"Token sayısı: {len(TOKENLER)}, gömme boyutu: {D}")
print("\nBu cümlede 'o' zamiri kime işaret ediyor? İnsan için açık: 'Kedi'ye.")
print("Self-attention'ın, bunu veriden öğrenip öğrenemediğini test edeceğiz.")

# Self-attention'ın kalbi: aynı gömmeden üç farklı rol için üç ayrı projeksiyon
# öğrenilir -- Sorgu (Query: "neyi arıyorum?"), Anahtar (Key: "ben neyim?"),
# Değer (Value: "katkım ne olacak?").
Wq = torch.randn(D, D) * 0.5
Wk = torch.randn(D, D) * 0.5
Wv = torch.randn(D, D) * 0.5

Q = X @ Wq
K = X @ Wk
V = X @ Wv

print(f"\nX (gömme) şekli: {tuple(X.shape)}")
print(f"Q, K, V şekli (üçü de): {tuple(Q.shape)}")
print(f"\n'o' token'ının gömmesi:  {[round(v,3) for v in X[4].tolist()]}")
print(f"'o' token'ının sorgusu (Q): {[round(v,3) for v in Q[4].tolist()]}")
print(f"'o' token'ının anahtarı (K): {[round(v,3) for v in K[4].tolist()]}")
print("Q, K, V aynı gömmeden geliyor ama üç farklı matrisle çarpıldığı için üç farklı vektör.")

# Her token'ın sorgusu (Q), her token'ın anahtarıyla (K) karşılaştırılır --
# bu, N×N'lik bir "dikkat matrisi" (attention matrix) üretir.
puanlar_ham = Q @ K.T
puanlar = puanlar_ham / (D ** 0.5)  # ölçekleme -- bir sonraki blokta neden gerekli olduğunu göreceğiz
agirliklar = F.softmax(puanlar, dim=-1)

print(f"\nDikkat matrisi şekli: {tuple(agirliklar.shape)} (satır=sorgulayan, sütun=dikkat edilen)")
o_idx = TOKENLER.index("o")
print(f"\n'{TOKENLER[o_idx]}' token'ının dikkat ağırlıkları:")
for tok, a in zip(TOKENLER, agirliklar[o_idx].tolist()):
    print(f"  {tok:<12} ağırlık={a:.3f}")
en_yuksek = TOKENLER[agirliklar[o_idx].argmax().item()]
print(f"\n'o' en yüksek ağırlığı '{en_yuksek}'e veriyor -- model, zamirin kime işaret ettiğini")
print("hiçbir dilbilgisi kuralı yazılmadan, sadece gömmelerin benzerliğinden buluyor.")

# Son adım: her token'ın dikkat ağırlıkları, V (değer) vektörlerinin ağırlıklı
# ortalamasını almak için kullanılır -- bu, o token'ın yeni, bağlamsallaştırılmış temsili.
baglam = agirliklar @ V
print(f"\n'{TOKENLER[o_idx]}' token'ının yeni (bağlamsallaştırılmış) temsili:")
print(f"  {[round(v,3) for v in baglam[o_idx].tolist()]}")
print(f"'{TOKENLER[0]}' token'ının V vektörü:")
print(f"  {[round(v,3) for v in V[0].tolist()]}")
print("\n'o'nun yeni temsili, 'Kedi'nin değer vektörüne (V) yakın -- çünkü dikkatinin")
print("büyük kısmını (0.52) ona verdi. 'o' artık sadece 'o' değil, bağlamıyla zenginleşmiş bir temsil.")