Attention fikri

# "Attention" (dikkat) kelimesi, insan dilinden ödünç alınmış bir kavramdır.
# Klasik bir İngilizce örnek: aynı 7 kelimelik cümle, hangi kelimeye vurgu
# yapıldığına göre 7 farklı anlama gelir.
cumle = "I did not say he stole the money"
yorumlar = [
    ("I", "Başkası söyledi, BEN söylemedim."),
    ("did not", "Hiçbir şekilde söylemedim -- düz bir inkar."),
    ("say", "Söylemedim ama BAŞKA bir yolla ima ettim."),
    ("he", "Parayı O çalmadı, BAŞKASI çaldı dedim."),
    ("stole", "Parayı BAŞKA bir yolla (örn. ödünç) aldı dedim."),
    ("the", "BU parayı değil, BAŞKA bir parayı çaldı dedim."),
    ("money", "Parayı değil, BAŞKA bir şeyi çaldı dedim."),
]
print(f'Cümle: "{cumle}"\n')
for kelime, anlam in yorumlar:
    print(f'  Vurgu "{kelime}"de olursa -> {anlam}')
print("\n7 kelime, 7 farklı anlam -- sadece hangi kelimeye 'dikkat' ettiğine göre.")
print("ML'deki attention da aynı fikri matematikselleştiriyor: bir çıktı üretirken,")
print("girdinin hangi kısımlarına ne kadar 'dikkat' edileceğini öğreniyor.")

# 8. derste RNN'in tüm diziyi tek bir vektöre sıkıştırdığını gördük. Attention'ın
# ilk fikri basit: sıkıştırma yerine, tüm ara durumları sakla.
KELIMELER = ["kral", "ülkeyi", "adaletle", "yönetti"]
BOYUT = 3
# Her kelimenin "hafızası" (gerçekte bir RNN/embedding'den gelir, burada öğretici
# amaçlı elle tasarlanmış):
encoder_durumlari = torch.tensor([
    [1.6, 0.6, 0.0],   # kral
    [1.1, 1.1, 0.0],   # ülkeyi (kral'a kısmen benzer -- konuyla ilgili)
    [0.0, 0.0, 1.6],   # adaletle (farklı bir "eksende")
    [-0.6, 0.3, 0.6],  # yönetti
])
print(f"\n{len(KELIMELER)} kelimenin her birinin gizli durumu saklandı -- 8. dersteki gibi tek bir vektöre indirgenmedi.")
print(f"Saklanan veri şekli: {tuple(encoder_durumlari.shape)} (kelime sayısı × boyut)")

# Şimdi bir "sorgu" (query) -- örn. "özne kim?" sorusuna en yakın bir vektör --
# ile her encoder durumu arasındaki benzerliği (nokta çarpım) hesaplayalım.
sorgu = torch.tensor([1.7, 0.5, 0.1])  # "kral"a yakın bir sorgu

puanlar = encoder_durumlari @ sorgu
agirliklar = F.softmax(puanlar, dim=0)

print(f"\nDikkat puanları (ham nokta çarpım): {[round(v,3) for v in puanlar.tolist()]}")
print(f"Dikkat ağırlıkları (softmax sonrası): {[round(v,3) for v in agirliklar.tolist()]}")
print(f"Ağırlıkların toplamı: {agirliklar.sum().item():.4f}")
for k, a in zip(KELIMELER, agirliklar.tolist()):
    print(f"  {k:<10} ağırlık={a:.3f}")
print(f"\nEn yüksek ağırlık '{KELIMELER[agirliklar.argmax().item()]}'de -- sorgu, ona en yakın.")
print("'ülkeyi' de anlamlı bir ağırlık (0.337) alıyor -- konuyla ilgili olduğu için.")

# Dikkat ağırlıkları, encoder durumlarının ağırlıklı ortalamasını almak için kullanılır --
# buna "bağlam vektörü" (context vector) denir.
baglam_vektoru = agirliklar @ encoder_durumlari
print(f"\nBağlam vektörü: {[round(v,3) for v in baglam_vektoru.tolist()]}")
print("Bu vektör, 'kral' durumuna çok yakın ama 'ülkeyi'den de biraz etkilenmiş --")
print("tek bir kelimeyi seçmek yerine, ilgili kelimelerin bir karışımını oluşturuyor.")
print("\nBu, 8. dersteki 'tek vektöre sıkıştırma' sorununa cevap: artık tek bir sabit vektör yok --")
print("her adımda, ihtiyaca göre yeniden hesaplanan, dinamik bir bağlam vektörü var.")