Pozisyonel kodlama

# Self-attention'ın GİZLİ bir sorunu var: KONUM (position) kavramı YOK. Bir kelimenin
# cümledeki 1. mi, yoksa 5. mi olduğunu BİLMİYOR -- sadece kelimelerin BİRBİRİYLE
# benzerliğine bakıyor. Bunu KANITLAYALIM: token'ları KARIŞTIRIP (permute) AYNI
# hesaplamayı tekrarlayalım.
N, D = 5, 8
X = torch.randn(N, D)
Wq, Wk, Wv = torch.randn(D, D) * 0.5, torch.randn(D, D) * 0.5, torch.randn(D, D) * 0.5

def calistir(X_girdi):
    Q, K, V = X_girdi @ Wq, X_girdi @ Wk, X_girdi @ Wv
    return dikkat(Q, K, V)

cikti_orijinal, _ = calistir(X)

permutasyon = torch.tensor([2, 0, 4, 1, 3])
X_karisik = X[permutasyon]
cikti_karisik, _ = calistir(X_karisik)

# Karışık çıktıyı AYNI permütasyonla geri "düzeltirsek", orijinalle AYNI mı olmalı?
cikti_karisik_geri = torch.zeros_like(cikti_karisik)
cikti_karisik_geri[permutasyon] = cikti_karisik

fark = (cikti_orijinal - cikti_karisik_geri).abs().max().item()
print(f"Token sırası KARIŞTIRILDI (permütasyon: {permutasyon.tolist()}), sonra çıktı GERİ sıralandı.")
print(f"Orijinal çıktı ile karıştırılıp-geri-sıralanan çıktı arasındaki fark: {fark:.2e}")
print(f"torch.allclose: {torch.allclose(cikti_orijinal, cikti_karisik_geri, atol=1e-6)}")
print("\nSonuç: self-attention, token'ların SIRASINI 'görmüyor' -- SADECE hangi token'ların")
print("VAR olduğunu görüyor. 'Kedi köpeği kovaladı' ile 'Köpeği kedi kovaladı', konum bilgisi")
print("OLMADAN, attention için AYNI 'küme'dir.")

# Çözüm: her konuma (position) ÖZEL, SABİT bir vektör ekle -- "Attention is All You
# Need" makalesinin sinüzoidal kodlaması:
def pozisyonel_kodlama(uzunluk, boyut):
    pe = torch.zeros(uzunluk, boyut)
    pozisyon = torch.arange(uzunluk).unsqueeze(1).float()
    bolen = torch.exp(torch.arange(0, boyut, 2).float() * (-math.log(10000.0) / boyut))
    pe[:, 0::2] = torch.sin(pozisyon * bolen)
    pe[:, 1::2] = torch.cos(pozisyon * bolen)
    return pe

PE = pozisyonel_kodlama(N, D)
print(f"\nPozisyonel kodlama şekli: {tuple(PE.shape)}")
print(f"Konum 0'ın kodlaması: {[round(v,3) for v in PE[0].tolist()]}")
print(f"Konum 1'in kodlaması: {[round(v,3) for v in PE[1].tolist()]}")
print("Konum 0'ın kodlaması hep [0, 1, 0, 1, ...] ile başlar (sin(0)=0, cos(0)=1) -- SABİT bir başlangıç noktası.")

# Şimdi X'e PE'yi EKLEYİP AYNI karıştırma testini tekrarlayalım.
X_pozisyonlu = X + PE

def calistir_pozisyonlu(X_girdi, PE_girdi):
    X_toplam = X_girdi + PE_girdi
    Q, K, V = X_toplam @ Wq, X_toplam @ Wk, X_toplam @ Wv
    return dikkat(Q, K, V)

cikti_poz_orijinal, _ = calistir_pozisyonlu(X, PE)
# DİKKAT: X karıştırılıyor ama PE karıştırılmıyor -- pozisyonlar SABİT kalıyor,
# çünkü PE 'bu token 3. sırada' der, token'ın KENDİSİYLE değil.
cikti_poz_karisik, _ = calistir_pozisyonlu(X_karisik, PE)
cikti_poz_karisik_geri = torch.zeros_like(cikti_poz_karisik)
cikti_poz_karisik_geri[permutasyon] = cikti_poz_karisik

fark_poz = (cikti_poz_orijinal - cikti_poz_karisik_geri).abs().max().item()
print(f"\nPE EKLENDİKTEN sonra, AYNI karıştır-geri-sırala testi -- fark: {fark_poz:.4f}")
print(f"torch.allclose: {torch.allclose(cikti_poz_orijinal, cikti_poz_karisik_geri, atol=1e-6)}")
print("ARTIK eşleşmiyor! PE eklenince, HANGİ token'ın HANGİ konumda olduğu SONUCU değiştiriyor --")
print("self-attention artık 'sırasız bir küme' değil, 'sıralı bir dizi' işliyor.")

# PE vektörlerinin bir başka özelliği: YAKIN konumların kodlamaları birbirine BENZER,
# UZAK konumların kodlamaları FARKLI -- göreli konum bilgisini TAŞIYOR.
# Gerçekçi bir boyutla (gerçek Transformer'lar d_model=512-768 kullanır, biz 64 ile
# gösteriyoruz) bu ilişki çok daha PÜRÜZSÜZ görünür:
D_BUYUK = 64
PE_uzun = pozisyonel_kodlama(30, D_BUYUK)
referans = PE_uzun[5]
print(f"\nKonum 5'in kodlamasıyla diğer konumların kosinüs benzerliği (boyut={D_BUYUK}):")
for hedef in [4, 6, 10, 15, 20]:
    benzerlik = F.cosine_similarity(referans, PE_uzun[hedef], dim=0).item()
    uzaklik = abs(hedef - 5)
    print(f"  konum {hedef:<3} (uzaklık={uzaklik:<2}) benzerlik={benzerlik:.3f}")
print("\nUzaklık arttıkça benzerlik DÜZENLİ biçimde azalıyor -- model, 'bu iki kelime YAKIN' ile")
print("'bu iki kelime UZAK' arasındaki farkı, kodlamaların GEOMETRİSİNDEN çıkarabilir.")
print("(Not: sinüzoidal kodlama PERİYODİK olduğu için ÇOK büyük uzaklıklarda bu azalış")
print("tekrar dalgalanabilir -- ama modelin göreceği tipik dizi uzunluklarında sorun değildir.)")