Pozisyonel kodlama

# Self-attention'ın gizli bir sorunu var: konum (position) kavramı yok. Bir kelimenin
# cümledeki 1. mi, yoksa 5. mi olduğunu bilmiyor -- sadece kelimelerin birbiriyle
# benzerliğine bakıyor. Bunu kanıtlayalım: token'ları karıştırıp (permute) aynı
# hesaplamayı tekrarlayalım.
N, D = 5, 8
X = torch.randn(N, D)
Wq, Wk, Wv = torch.randn(D, D) * 0.5, torch.randn(D, D) * 0.5, torch.randn(D, D) * 0.5

def calistir(X_girdi):
    Q, K, V = X_girdi @ Wq, X_girdi @ Wk, X_girdi @ Wv
    return dikkat(Q, K, V)

cikti_orijinal, _ = calistir(X)

permutasyon = torch.tensor([2, 0, 4, 1, 3])
X_karisik = X[permutasyon]
cikti_karisik, _ = calistir(X_karisik)

# Karışık çıktıyı aynı permütasyonla geri "düzeltirsek", orijinalle aynı mı olmalı?
cikti_karisik_geri = torch.zeros_like(cikti_karisik)
cikti_karisik_geri[permutasyon] = cikti_karisik

fark = (cikti_orijinal - cikti_karisik_geri).abs().max().item()
print(f"Token sırası karıştırıldı (permütasyon: {permutasyon.tolist()}), sonra çıktı geri sıralandı.")
print(f"Orijinal çıktı ile karıştırılıp-geri-sıralanan çıktı arasındaki fark: {fark:.2e}")
print(f"torch.allclose: {torch.allclose(cikti_orijinal, cikti_karisik_geri, atol=1e-6)}")
print("\nSonuç: self-attention, token'ların sırasını 'görmüyor' -- sadece hangi token'ların")
print("var olduğunu görüyor. 'Kedi köpeği kovaladı' ile 'Köpeği kedi kovaladı', konum bilgisi")
print("olmadan, attention için aynı 'küme'dir.")

# Çözüm: her konuma (position) özel, sabit bir vektör ekle -- "Attention is All You
# Need" makalesinin sinüzoidal kodlaması:
def pozisyonel_kodlama(uzunluk, boyut):
    pe = torch.zeros(uzunluk, boyut)
    pozisyon = torch.arange(uzunluk).unsqueeze(1).float()
    bolen = torch.exp(torch.arange(0, boyut, 2).float() * (-math.log(10000.0) / boyut))
    pe[:, 0::2] = torch.sin(pozisyon * bolen)
    pe[:, 1::2] = torch.cos(pozisyon * bolen)
    return pe

PE = pozisyonel_kodlama(N, D)
print(f"\nPozisyonel kodlama şekli: {tuple(PE.shape)}")
print(f"Konum 0'ın kodlaması: {[round(v,3) for v in PE[0].tolist()]}")
print(f"Konum 1'in kodlaması: {[round(v,3) for v in PE[1].tolist()]}")
print("Konum 0'ın kodlaması hep [0, 1, 0, 1, ...] ile başlar (sin(0)=0, cos(0)=1) -- sabit bir başlangıç noktası.")

# Şimdi X'e PE'yi ekleyip aynı karıştırma testini tekrarlayalım.
X_pozisyonlu = X + PE

def calistir_pozisyonlu(X_girdi, PE_girdi):
    X_toplam = X_girdi + PE_girdi
    Q, K, V = X_toplam @ Wq, X_toplam @ Wk, X_toplam @ Wv
    return dikkat(Q, K, V)

cikti_poz_orijinal, _ = calistir_pozisyonlu(X, PE)
# Dikkat: X karıştırılıyor ama PE karıştırılmıyor -- pozisyonlar sabit kalıyor,
# çünkü PE 'bu token 3. sırada' der, token'ın kendisiyle değil.
cikti_poz_karisik, _ = calistir_pozisyonlu(X_karisik, PE)
cikti_poz_karisik_geri = torch.zeros_like(cikti_poz_karisik)
cikti_poz_karisik_geri[permutasyon] = cikti_poz_karisik

fark_poz = (cikti_poz_orijinal - cikti_poz_karisik_geri).abs().max().item()
print(f"\nPE eklendikten sonra, aynı karıştır-geri-sırala testi -- fark: {fark_poz:.4f}")
print(f"torch.allclose: {torch.allclose(cikti_poz_orijinal, cikti_poz_karisik_geri, atol=1e-6)}")
print("Artık eşleşmiyor! PE eklenince, hangi token'ın hangi konumda olduğu sonucu değiştiriyor --")
print("self-attention artık 'sırasız bir küme' değil, 'sıralı bir dizi' işliyor.")

# PE vektörlerinin bir başka özelliği: yakın konumların kodlamaları birbirine benzer,
# uzak konumların kodlamaları farklı -- göreli konum bilgisini taşıyor.
# Gerçekçi bir boyutla (gerçek Transformer'lar d_model=512-768 kullanır, biz 64 ile
# gösteriyoruz) bu ilişki çok daha pürüzsüz görünür:
D_BUYUK = 64
PE_uzun = pozisyonel_kodlama(30, D_BUYUK)
referans = PE_uzun[5]
print(f"\nKonum 5'in kodlamasıyla diğer konumların kosinüs benzerliği (boyut={D_BUYUK}):")
for hedef in [4, 6, 10, 15, 20]:
    benzerlik = F.cosine_similarity(referans, PE_uzun[hedef], dim=0).item()
    uzaklik = abs(hedef - 5)
    print(f"  konum {hedef:<3} (uzaklık={uzaklik:<2}) benzerlik={benzerlik:.3f}")
print("\nUzaklık arttıkça benzerlik düzenli biçimde azalıyor -- model, 'bu iki kelime yakın' ile")
print("'bu iki kelime uzak' arasındaki farkı, kodlamaların geometrisinden çıkarabilir.")
print("(Not: sinüzoidal kodlama periyodik olduğu için çok büyük uzaklıklarda bu azalış")
print("tekrar dalgalanabilir -- ama modelin göreceği tipik dizi uzunluklarında sorun değildir.)")