Attention fikri

# "Attention" (dikkat) kelimesi, İNSAN dilinden ödünç alınmış bir kavramdır.
# Klasik bir İngilizce örnek: AYNI 7 kelimelik cümle, HANGİ kelimeye VURGU
# yapıldığına göre 7 FARKLI anlama gelir.
cumle = "I did not say he stole the money"
yorumlar = [
    ("I", "Başkası söyledi, BEN söylemedim."),
    ("did not", "Hiçbir şekilde söylemedim -- düz bir inkar."),
    ("say", "Söylemedim ama BAŞKA bir yolla ima ettim."),
    ("he", "Parayı O çalmadı, BAŞKASI çaldı dedim."),
    ("stole", "Parayı BAŞKA bir yolla (örn. ödünç) aldı dedim."),
    ("the", "BU parayı değil, BAŞKA bir parayı çaldı dedim."),
    ("money", "Parayı değil, BAŞKA bir şeyi çaldı dedim."),
]
print(f'Cümle: "{cumle}"\n')
for kelime, anlam in yorumlar:
    print(f'  VURGU "{kelime}"de olursa -> {anlam}')
print("\n7 kelime, 7 FARKLI anlam -- SADECE hangi kelimeye 'dikkat' ettiğine göre.")
print("ML'deki attention da AYNI fikri matematikselleştiriyor: bir çıktı üretirken,")
print("GİRDİNİN hangi kısımlarına ne kadar 'dikkat' edileceğini ÖĞRENİYOR.")

# 8. derste RNN'in TÜM diziyi tek bir vektöre sıkıştırdığını gördük. Attention'ın
# İLK fikri basit: sıkıştırma YERİNE, TÜM ara durumları SAKLA.
KELIMELER = ["kral", "ülkeyi", "adaletle", "yönetti"]
BOYUT = 3
# Her kelimenin "hafızası" (gerçekte bir RNN/embedding'den gelir, burada öğretici
# amaçlı elle tasarlanmış):
encoder_durumlari = torch.tensor([
    [1.6, 0.6, 0.0],   # kral
    [1.1, 1.1, 0.0],   # ülkeyi (kral'a KISMEN benzer -- konuyla ilgili)
    [0.0, 0.0, 1.6],   # adaletle (FARKLI bir "eksende")
    [-0.6, 0.3, 0.6],  # yönetti
])
print(f"\n{len(KELIMELER)} kelimenin HER BİRİNİN gizli durumu SAKLANDI -- 8. dersteki gibi TEK bir vektöre indirgenmedi.")
print(f"Saklanan veri şekli: {tuple(encoder_durumlari.shape)} (kelime sayısı × boyut)")

# Şimdi bir "sorgu" (query) -- örn. "özne kim?" sorusuna en yakın bir vektör --
# ile HER encoder durumu arasındaki BENZERLİĞİ (nokta çarpım) hesaplayalım.
sorgu = torch.tensor([1.7, 0.5, 0.1])  # "kral"a YAKIN bir sorgu

puanlar = encoder_durumlari @ sorgu
agirliklar = F.softmax(puanlar, dim=0)

print(f"\nDikkat puanları (ham nokta çarpım): {[round(v,3) for v in puanlar.tolist()]}")
print(f"Dikkat ağırlıkları (softmax sonrası): {[round(v,3) for v in agirliklar.tolist()]}")
print(f"Ağırlıkların toplamı: {agirliklar.sum().item():.4f}")
for k, a in zip(KELIMELER, agirliklar.tolist()):
    print(f"  {k:<10} ağırlık={a:.3f}")
print(f"\nEn yüksek ağırlık '{KELIMELER[agirliklar.argmax().item()]}'de -- sorgu, ona en YAKIN.")
print("'ülkeyi' de ANLAMLI bir ağırlık (0.337) alıyor -- konuyla İLGİLİ olduğu için.")

# Dikkat ağırlıkları, encoder durumlarının AĞIRLIKLI ORTALAMASINI almak için kullanılır --
# buna "bağlam vektörü" (context vector) denir.
baglam_vektoru = agirliklar @ encoder_durumlari
print(f"\nBağlam vektörü: {[round(v,3) for v in baglam_vektoru.tolist()]}")
print("Bu vektör, 'kral' durumuna ÇOK yakın ama 'ülkeyi'den de BİRAZ etkilenmiş --")
print("TEK bir kelimeyi SEÇMEK yerine, İLGİLİ kelimelerin bir KARIŞIMINI oluşturuyor.")
print("\nBu, 8. dersteki 'tek vektöre sıkıştırma' sorununa cevap: artık TEK bir sabit vektör yok --")
print("her adımda, İHTİYACA göre YENİDEN hesaplanan, dinamik bir bağlam vektörü var.")