Layer norm ve artık bağlantılar

# DL Görüntü kategorisinde (24. ders) batch normalization'ı gördük: her özelliği,
# batch boyunca (tüm örnekler arasında) normalize eder. NLP'de bu sorunlu: cümleler
# farklı uzunlukta, batch istatistikleri kararsız olur. Layer norm farklı bir eksende
# normalize eder: her token'ın kendi özellik vektörü içinde.
X_batch32 = torch.randn(32, 8) * 3 + 5   # 32 örnek, 8 özellik
X_batch1 = X_batch32[:1]                  # Aynı ilk örnek, tek başına

katman_norm = nn.LayerNorm(8)
cikti_batch32 = katman_norm(X_batch32)
cikti_batch1 = katman_norm(X_batch1)

fark = (cikti_batch32[0] - cikti_batch1[0]).abs().max().item()
print(f"Batch=32 içindeki 1. örneğin layer norm çıktısı ile, aynı örneğin tek başına")
print(f"(batch=1) layer norm çıktısı arasındaki fark: {fark:.2e}")
print(f"torch.allclose: {torch.allclose(cikti_batch32[0], cikti_batch1[0], atol=1e-5)}")
print("\nLayer norm, her örneği diğerlerinden bağımsız normalize ediyor -- batch büyüklüğü")
print("sonucu değiştirmiyor. Batch norm'da bu asla doğru olmazdı (batch istatistiklerine bağımlı).")

# Layer norm'un yaptığı: her token vektörünü kendi ortalaması ve std'siyle normalize et.
ornek = torch.tensor([1.0, 5.0, 3.0, 9.0])
ort = ornek.mean()
std = ornek.std(unbiased=False)
elle_normalize = (ornek - ort) / (std + 1e-5)

katman_norm_4 = nn.LayerNorm(4)
katman_norm_4.weight.data.fill_(1.0)
katman_norm_4.bias.data.fill_(0.0)
pytorch_normalize = katman_norm_4(ornek)

print(f"\nGirdi: {ornek.tolist()}")
print(f"Elle hesaplanan (x - ortalama) / std: {[round(v,3) for v in elle_normalize.tolist()]}")
print(f"nn.LayerNorm çıktısı (ağırlık=1, bias=0): {[round(v,3) for v in pytorch_normalize.tolist()]}")
print(f"torch.allclose: {torch.allclose(elle_normalize, pytorch_normalize, atol=1e-4)}")

# İkinci sorun: 10-12. dersteki attention blokları üst üste yığılınca (gerçek
# Transformer'larda 12-96 blok), gradyan nasıl akıyor? 5-7. derste gördüğümüz
# "gradyan .backward() sonrası .grad normunu ölç" tekniğini burada tekrar kullanıyoruz.
def rastgele_alt_katman(boyut, seed, std=0.2):
    torch.manual_seed(seed)
    katman = nn.Linear(boyut, boyut)
    nn.init.normal_(katman.weight, std=std)
    return katman

def gradyan_olc(derinlik, artik_baglanti, boyut=16):
    torch.manual_seed(1)
    x = torch.randn(1, boyut, requires_grad=True)
    h = x
    for i in range(derinlik):
        alt_katman = rastgele_alt_katman(boyut, seed=100 + i)
        if artik_baglanti:
            h = h + torch.tanh(alt_katman(h))
        else:
            h = torch.tanh(alt_katman(h))
    kayip = h.sum()
    kayip.backward()
    return x.grad.norm().item()

print(f"\n{'Derinlik':<10} {'Artık bağlantı yok':<22} {'Artık bağlantı var':<22}")
for derinlik in [5, 20, 50]:
    g_yok = gradyan_olc(derinlik, artik_baglanti=False)
    g_var = gradyan_olc(derinlik, artik_baglanti=True)
    print(f"{derinlik:<10} {g_yok:<22.2e} {g_var:<22.2e}")
print("\nArtık bağlantı olmadan, 50 katman sonra girdinin gradyanı 1.23e-06'ya çöküyor -- 7-8.")
print("dersteki aynı kaybolan gradyan sorunu, şimdi attention katmanları için. Artık bağlantı")
print("varken gradyan 448'e kadar sağlıklı (hatta büyük) kalıyor -- x + ... ifadesindeki '+x' terimi,")
print("gradyanın backprop'ta hiçbir ara katmandan geçmeden doğrudan akabileceği bir 'kestirme yol' açıyor.")

# Gerçek bir Transformer bloğu: artık bağlantı + layer norm birlikte.
class TransformerAltKatmani(nn.Module):
    def __init__(self, boyut, seed):
        super().__init__()
        self.alt_katman = rastgele_alt_katman(boyut, seed=seed)
        self.norm = nn.LayerNorm(boyut)

    def forward(self, x):
        # Post-norm (orijinal "Attention is All You Need" makalesi): LayerNorm(x + Alt(x))
        return self.norm(x + torch.tanh(self.alt_katman(x)))

torch.manual_seed(1)
x = torch.randn(1, 16)
normlar_birlikte = [x.norm().item()]
for i in range(50):
    blok = TransformerAltKatmani(16, seed=100 + i)
    x = blok(x)
    normlar_birlikte.append(x.norm().item())

print(f"\nArtık bağlantı + layer norm birlikte, 50 katman sonra çıktı normu: {normlar_birlikte[-1]:.4f}")
print(f"İlk 5 katmandaki normlar: {[round(v,3) for v in normlar_birlikte[:5]]}")
print("Layer norm, her katmandan sonra büyüklüğü sabit bir aralığa 'sıfırlıyor' -- artık")
print("bağlantı bilgiyi korurken, layer norm büyüklüğü kontrol altında tutuyor.")