SGD, batch, momentum

# y = 3x + gürültü. w=1.0'da (henüz eğitilmemiş) GERÇEK gradyanı (TÜM veriyle) hesaplayalım.
N = 50
xs = rng.uniform(-2, 2, N)
ys = 3 * xs + rng.uniform(-0.25, 0.25, N)

def gradyan_orneklem(w, indeksler):
    hatalar = w * xs[indeksler] - ys[indeksler]
    return np.mean(2 * hatalar * xs[indeksler])

w_sabit = 1.0
gercek_gradyan = gradyan_orneklem(w_sabit, np.arange(N))
print(f"Tam batch (n=50) gradyanı: {gercek_gradyan:.4f}  -- TÜM veriyle hesaplanan, 'gerçek' gradyan")

# Şimdi KÜÇÜK rastgele örneklemlerle (mini-batch) aynı w'de gradyanı tahmin edelim.
# Her tahmin, gerçek gradyandan biraz SAPACAK -- bu sapmaya "gradyan gürültüsü" denir.
rng2 = np.random.default_rng(99)
print(f"\n{'Batch boyutu':<14} {'8 tahmin örneği':<50} {'std (300 tekrar)':<10}")
for batch_boyutu in [1, 4, 8, 16, 32]:
    tahminler_8 = [gradyan_orneklem(w_sabit, rng2.integers(0, N, batch_boyutu)) for _ in range(8)]
    tahminler_300 = [gradyan_orneklem(w_sabit, rng2.integers(0, N, batch_boyutu)) for _ in range(300)]
    std_deger = np.std(tahminler_300)
    ornek_str = ", ".join(f"{v:.2f}" for v in tahminler_8)
    print(f"{batch_boyutu:<14} {ornek_str:<50} {std_deger:<10.3f}")

print(f"\nbatch=1 (saf SGD) gradyanı ÇOK gürültülü; batch=32 gerçek gradyana ({gercek_gradyan:.2f}) çok daha yakın kümeleniyor.")

# Momentum, geçmiş adımların bir kısmını "hatırlayarak" bu gürültüyü yumuşatır.
# PyTorch'ta torch.optim.SGD(momentum=...) ile karşılaştıralım.
def egit(momentum, adim_sayisi=30, lr=0.05):
    w = torch.tensor(1.0, requires_grad=True)
    optimizer = torch.optim.SGD([w], lr=lr, momentum=momentum)
    rng_egitim = np.random.default_rng(7)
    gecmis = [w.item()]
    for _ in range(adim_sayisi):
        idx = rng_egitim.integers(0, N, 4)  # küçük mini-batch -- gürültülü gradyan
        optimizer.zero_grad()
        tahmin = w * torch.tensor(xs[idx], dtype=torch.float32)
        kayip = torch.mean((tahmin - torch.tensor(ys[idx], dtype=torch.float32)) ** 2)
        kayip.backward()
        optimizer.step()
        gecmis.append(w.item())
    return gecmis

gecmis_momentumsuz = egit(momentum=0.0)
gecmis_momentumlu = egit(momentum=0.9)

def pürüzlülük(gecmis):
    # ardışık adımlar arası yön değişikliklerinin sayısı -- "zigzag" miktarı
    farklar = np.diff(gecmis)
    isaret_degisimi = np.sum(np.diff(np.sign(farklar)) != 0)
    return isaret_degisimi

print(f"\nMomentumsuz (β=0)  son w={gecmis_momentumsuz[-1]:.3f}, yön değişikliği sayısı={pürüzlülük(gecmis_momentumsuz)}")
print(f"Momentumlu (β=0.9) son w={gecmis_momentumlu[-1]:.3f}, yön değişikliği sayısı={pürüzlülük(gecmis_momentumlu)}")
print("Momentum, gürültülü mini-batch gradyanlarının ortalamasını 'hatırlayarak' yön değişikliklerini AZALTIYOR.")