Encoder-decoder yapısı

# 10-15. derste tek bir dizi (cümle) üzerinde çalıştık. Ama çeviri gibi görevlerde
# iki dizi var: kaynak (encoder'a girer) ve hedef (decoder üretir). Örnek: Türkçe'den
# İngilizce'ye çeviri.
KAYNAK = ["Kedi", "masaya", "çıktı"]       # Türkçe (encoder girdisi)
HEDEF_SIMDIYE_KADAR = ["The", "cat"]        # İngilizce, şu ana kadar üretilen (decoder girdisi)
print(f"Kaynak dizi (Türkçe, encoder): {KAYNAK}")
print(f"Hedef dizi (İngilizce, decoder, şimdiye kadar üretilen): {HEDEF_SIMDIYE_KADAR}")
print("\nEncoder, kaynak diziyi tamamen görebilir (bidirectional -- 10. dersteki self-attention gibi).")
print("Decoder ise hedef dizide sadece kendinden öncekileri görebilir (11. dersteki nedensel maske).")

# Encoder: kaynak dizi üzerinde sıradan self-attention (maskesiz, tüm kaynak
# kelimeleri birbirini görebilir).
D = 4
X_kaynak = torch.tensor([
    [1.5, 0.0, 0.0, 0.0],   # Kedi
    [0.0, 1.5, 0.0, 0.0],   # masaya
    [0.3, 0.3, 1.2, 0.0],   # çıktı
])

torch.manual_seed(125)
Wq_enc, Wk_enc, Wv_enc = torch.randn(D, D) * 0.5, torch.randn(D, D) * 0.5, torch.randn(D, D) * 0.5
Q_enc, K_enc, V_enc = X_kaynak @ Wq_enc, X_kaynak @ Wk_enc, X_kaynak @ Wv_enc
encoder_ciktisi, _ = dikkat(Q_enc, K_enc, V_enc)
print(f"\nEncoder çıktısı şekli: {tuple(encoder_ciktisi.shape)} (= {len(KAYNAK)} kaynak token x {D} boyut)")
print("Bu çıktı, her kaynak kelimenin, diğer tüm kaynak kelimelerle 'zenginleştirilmiş' temsilidir --")
print("decoder, üretim boyunca bunu kullanacak.")

# Decoder'ın ikinci (ve yeni) dikkat türü: "çapraz dikkat" (cross-attention).
# Sorgu (Q) decoder'dan gelir, ama Anahtar/Değer (K, V) encoder çıktısından gelir --
# yani decoder, kaynak cümleye 'bakar'.
X_hedef = torch.tensor([
    [0.1, 0.1, 0.1, 1.0],   # "The" -- genel bir kelime, belirli bir kaynağa odaklanmaz
    [1.4, 0.0, 0.0, 0.1],   # "cat" -- 'Kedi'ye yakın tasarlandı
])

torch.manual_seed(10146)
Wq_dec, Wk_capraz = torch.randn(D, D) * 0.5, torch.randn(D, D) * 0.5

Q_dec = X_hedef @ Wq_dec          # sorgu: decoder'dan
K_capraz = encoder_ciktisi @ Wk_capraz   # anahtar: encoder çıktısından (V_capraz = encoder_ciktisi)
capraz_ciktisi, capraz_agirliklar = dikkat(Q_dec, K_capraz, encoder_ciktisi)

print(f"\nÇapraz dikkat matrisi şekli: {tuple(capraz_agirliklar.shape)} (= {len(HEDEF_SIMDIYE_KADAR)} hedef x {len(KAYNAK)} kaynak)")
print("Dikkat: bu matris kare değil -- 10. dersteki self-attention'ın N×N matrisinden farklı,")
print("çünkü sorgu ve anahtar/değer iki farklı diziden geliyor.")
for hedef_kelime, agirlik_satiri in zip(HEDEF_SIMDIYE_KADAR, capraz_agirliklar.tolist()):
    print(f"\n  '{hedef_kelime}' hangi kaynak kelimelere bakıyor?")
    for kaynak_kelime, a in zip(KAYNAK, agirlik_satiri):
        print(f"    {kaynak_kelime:<10} ağırlık={a:.3f}")

en_yuksek = KAYNAK[capraz_agirliklar[1].argmax().item()]
print(f"\n'cat' üretilirken, en çok '{en_yuksek}' kaynak kelimesine bakılıyor ({capraz_agirliklar[1].max().item():.3f}) --")
print("model, 'cat' kelimesinin karşılığının kaynak cümlede 'Kedi' olduğunu, öğrenilmiş dikkat ile buluyor.")

# Özet karşılaştırma: encoder'daki self-attention, decoder'daki maskeli self-attention,
# ve decoder'daki çapraz dikkat -- üçü de aynı dikkat() fonksiyonunu kullanıyor, ama
# Q/K/V'nin nereden geldiği değişiyor.
print(f"\n{'Dikkat türü':<28} {'Q nereden':<14} {'K, V nereden':<16} {'Matris şekli':<12}")
print(f"{'Encoder self-attention':<28} {'encoder':<14} {'encoder':<16} {'(3, 3)':<12}")
print(f"{'Decoder maskeli self-att.':<28} {'decoder':<14} {'decoder':<16} {'(2, 2)':<12}")
print(f"{'Decoder çapraz dikkat':<28} {'decoder':<14} {'Encoder':<16} {'(2, 3)':<12}")
print("\nAynı matematik (dikkat fonksiyonu), üç farklı 'nereden geliyor' kombinasyonu --")
print("bu üçü birlikte, bir Transformer encoder-decoder bloğunu oluşturuyor.")