Batch normalization

# 20. derste kötü ilklendirmenin (çok küçük std) sinyali sönümlendirdiğini görmüştük.
# BatchNorm, bunu MİMARİ seviyede çözer -- ilklendirmeden neredeyse bağımsız hale gelir.
def sinyal_yayilimi(std, katman_sayisi=10, genislik=100, batchnorm_kullan=False):
    x = torch.randn(32, genislik)  # batch boyutu = 32
    stdler = [x.std().item()]
    for _ in range(katman_sayisi):
        W = torch.randn(genislik, genislik) * std
        z = x @ W
        if batchnorm_kullan:
            z = (z - z.mean(dim=0)) / (z.std(dim=0) + 1e-5)  # BatchNorm'un ÖZÜ: her nöronu batch boyunca normalize et
        x = torch.tanh(z)
        stdler.append(x.std().item())
    return stdler

kotu_std = 0.1  # 20. dersteki "çok küçük" ilklendirme
bn_yok = sinyal_yayilimi(kotu_std, batchnorm_kullan=False)
bn_var = sinyal_yayilimi(kotu_std, batchnorm_kullan=True)

print(f"Kötü ilklendirme (std={kotu_std}), BatchNorm YOK:")
print("  " + ", ".join(f"{s:.3f}" for s in bn_yok))
print(f"\nKötü ilklendirme (std={kotu_std}), BatchNorm VAR:")
print("  " + ", ".join(f"{s:.3f}" for s in bn_var))
print("\nBatchNorm'suz sinyal 10 katmanda sürekli küçülüyor (1.00 -> 0.24).")
print("BatchNorm'lu sinyal İLK katmandan sonra SABİTLENİYOR (~0.63) -- kötü ilklendirmeyi büyük ölçüde 'affediyor'.")

# nn.BatchNorm1d'nin gerçek davranışına bakalım: normalize eder, sonra öğrenilebilir
# gamma (ölçek) ve beta (kaydırma) ile bu normu "geri alabilir".
bn = nn.BatchNorm1d(4)
x = torch.randn(8, 4) * 5 + 3  # büyük ölçekli, kaymış bir girdi

bn.train()
y = bn(x)
print(f"\nGirdi ortalama/std: {x.mean(0).round(decimals=2).tolist()} / {x.std(0).round(decimals=2).tolist()}")
print(f"BatchNorm çıktısı ortalama/std: {y.mean(0).round(decimals=2).tolist()} / {y.std(0).round(decimals=2).tolist()}")
print(f"\nBaşlangıçta gamma={bn.weight.data.tolist()}, beta={bn.bias.data.tolist()} -- yani normalize edilmiş hali AYNEN bırakıyor.")
print("Eğitim ilerledikçe gamma/beta öğrenilir -- ağ, gerekirse normu KISMEN geri alabilir.")

# BatchNorm, train() modunda BATCH istatistiklerini kullanır; bunları aynı zamanda
# 'running_mean/running_var' olarak biriktirir -- eval() modunda BUNLAR kullanılır.
for _ in range(20):
    bn(torch.randn(8, 4) * 5 + 3)
print(f"\n20 forward sonrası running_mean: {bn.running_mean.round(decimals=2).tolist()}")
print(f"20 forward sonrası running_var:  {bn.running_var.round(decimals=2).tolist()}")
print("(Gerçek dağılım ortalama=3, std=5 idi -- running istatistikler bu değerlere yakınsıyor.)")

# BatchNorm, TEK bir örnekle (batch=1) train() modunda çalışamaz -- neden?
bn_test = nn.BatchNorm1d(4)
bn_test.train()
try:
    bn_test(torch.randn(1, 4))
except ValueError as hata:
    print(f"\ntrain() modunda batch=1 ile HATA: {hata}")
print("Tek örneğin std'si TANIMSIZDIR (bölme sıfıra gider) -- bu yüzden eval() modunda running stats kullanılır.")