Encoder-decoder yapısı

# 10-15. derste TEK bir dizi (cümle) üzerinde çalıştık. Ama çeviri gibi görevlerde
# İKİ dizi var: KAYNAK (encoder'a girer) ve HEDEF (decoder ÜRETİR). Örnek: Türkçe'den
# İngilizce'ye çeviri.
KAYNAK = ["Kedi", "masaya", "çıktı"]       # Türkçe (encoder girdisi)
HEDEF_SIMDIYE_KADAR = ["The", "cat"]        # İngilizce, ŞU ANA KADAR üretilen (decoder girdisi)
print(f"Kaynak dizi (Türkçe, encoder): {KAYNAK}")
print(f"Hedef dizi (İngilizce, decoder, şimdiye kadar üretilen): {HEDEF_SIMDIYE_KADAR}")
print("\nEncoder, KAYNAK diziyi TAMAMEN görebilir (bidirectional -- 10. dersteki self-attention gibi).")
print("Decoder ise HEDEF dizide SADECE kendinden ÖNCEKİLERİ görebilir (11. dersteki nedensel maske).")

# Encoder: KAYNAK dizi üzerinde SIRADAN self-attention (maskesiz, TÜM kaynak
# kelimeleri birbirini görebilir).
D = 4
X_kaynak = torch.tensor([
    [1.5, 0.0, 0.0, 0.0],   # Kedi
    [0.0, 1.5, 0.0, 0.0],   # masaya
    [0.3, 0.3, 1.2, 0.0],   # çıktı
])

torch.manual_seed(125)
Wq_enc, Wk_enc, Wv_enc = torch.randn(D, D) * 0.5, torch.randn(D, D) * 0.5, torch.randn(D, D) * 0.5
Q_enc, K_enc, V_enc = X_kaynak @ Wq_enc, X_kaynak @ Wk_enc, X_kaynak @ Wv_enc
encoder_ciktisi, _ = dikkat(Q_enc, K_enc, V_enc)
print(f"\nEncoder çıktısı şekli: {tuple(encoder_ciktisi.shape)} (= {len(KAYNAK)} kaynak token x {D} boyut)")
print("Bu çıktı, HER kaynak kelimenin, DİĞER TÜM kaynak kelimelerle 'zenginleştirilmiş' temsilidir --")
print("decoder, üretim boyunca BUNU kullanacak.")

# Decoder'ın İKİNCİ (ve YENİ) dikkat türü: "çapraz dikkat" (cross-attention).
# Sorgu (Q) DECODER'DAN gelir, ama Anahtar/Değer (K, V) ENCODER çıktısından gelir --
# yani decoder, kaynak cümleye 'BAKAR'.
X_hedef = torch.tensor([
    [0.1, 0.1, 0.1, 1.0],   # "The" -- genel bir kelime, belirli bir kaynağa odaklanmaz
    [1.4, 0.0, 0.0, 0.1],   # "cat" -- 'Kedi'ye YAKIN tasarlandı
])

torch.manual_seed(10146)
Wq_dec, Wk_capraz = torch.randn(D, D) * 0.5, torch.randn(D, D) * 0.5

Q_dec = X_hedef @ Wq_dec          # sorgu: DECODER'DAN
K_capraz = encoder_ciktisi @ Wk_capraz   # anahtar: ENCODER çıktısından (V_capraz = encoder_ciktisi)
capraz_ciktisi, capraz_agirliklar = dikkat(Q_dec, K_capraz, encoder_ciktisi)

print(f"\nÇapraz dikkat matrisi şekli: {tuple(capraz_agirliklar.shape)} (= {len(HEDEF_SIMDIYE_KADAR)} hedef x {len(KAYNAK)} kaynak)")
print("DİKKAT: bu matris KARE DEĞİL -- 10. dersteki self-attention'ın N×N matrisinden FARKLI,")
print("çünkü sorgu ve anahtar/değer İKİ FARKLI diziden geliyor.")
for hedef_kelime, agirlik_satiri in zip(HEDEF_SIMDIYE_KADAR, capraz_agirliklar.tolist()):
    print(f"\n  '{hedef_kelime}' hangi kaynak kelimelere bakıyor?")
    for kaynak_kelime, a in zip(KAYNAK, agirlik_satiri):
        print(f"    {kaynak_kelime:<10} ağırlık={a:.3f}")

en_yuksek = KAYNAK[capraz_agirliklar[1].argmax().item()]
print(f"\n'cat' üretilirken, en çok '{en_yuksek}' kaynak kelimesine bakılıyor ({capraz_agirliklar[1].max().item():.3f}) --")
print("model, 'cat' kelimesinin KARŞILIĞININ kaynak cümlede 'Kedi' olduğunu, ÖĞRENİLMİŞ dikkat ile buluyor.")

# Özet karşılaştırma: encoder'daki self-attention, decoder'daki maskeli self-attention,
# ve decoder'daki çapraz dikkat -- ÜÇÜ de AYNI dikkat() fonksiyonunu kullanıyor, ama
# Q/K/V'nin NEREDEN geldiği DEĞİŞİYOR.
print(f"\n{'Dikkat türü':<28} {'Q nereden':<14} {'K, V nereden':<16} {'Matris şekli':<12}")
print(f"{'Encoder self-attention':<28} {'encoder':<14} {'encoder':<16} {'(3, 3)':<12}")
print(f"{'Decoder maskeli self-att.':<28} {'decoder':<14} {'decoder':<16} {'(2, 2)':<12}")
print(f"{'Decoder çapraz dikkat':<28} {'decoder':<14} {'ENCODER':<16} {'(2, 3)':<12}")
print("\nAYNI matematik (dikkat fonksiyonu), ÜÇ FARKLI 'nereden geliyor' kombinasyonu --")
print("bu üçü BİRLİKTE, bir Transformer encoder-decoder bloğunu oluşturuyor.")