SGD, batch, momentum

# y = 3x + gürültü. w=1.0'da (henüz eğitilmemiş) gerçek gradyanı (tüm veriyle) hesaplayalım.
N = 50
xs = rng.uniform(-2, 2, N)
ys = 3 * xs + rng.uniform(-0.25, 0.25, N)

def gradyan_orneklem(w, indeksler):
    hatalar = w * xs[indeksler] - ys[indeksler]
    return np.mean(2 * hatalar * xs[indeksler])

w_sabit = 1.0
gercek_gradyan = gradyan_orneklem(w_sabit, np.arange(N))
print(f"Tam batch (n=50) gradyanı: {gercek_gradyan:.4f}  -- tüm veriyle hesaplanan, 'gerçek' gradyan")

# Şimdi küçük rastgele örneklemlerle (mini-batch) aynı w'de gradyanı tahmin edelim.
# Her tahmin, gerçek gradyandan biraz sapacak -- bu sapmaya "gradyan gürültüsü" denir.
rng2 = np.random.default_rng(99)
print(f"\n{'Batch boyutu':<14} {'8 tahmin örneği':<50} {'std (300 tekrar)':<10}")
for batch_boyutu in [1, 4, 8, 16, 32]:
    tahminler_8 = [gradyan_orneklem(w_sabit, rng2.integers(0, N, batch_boyutu)) for _ in range(8)]
    tahminler_300 = [gradyan_orneklem(w_sabit, rng2.integers(0, N, batch_boyutu)) for _ in range(300)]
    std_deger = np.std(tahminler_300)
    ornek_str = ", ".join(f"{v:.2f}" for v in tahminler_8)
    print(f"{batch_boyutu:<14} {ornek_str:<50} {std_deger:<10.3f}")

print(f"\nbatch=1 (saf SGD) gradyanı çok gürültülü; batch=32 gerçek gradyana ({gercek_gradyan:.2f}) çok daha yakın kümeleniyor.")

# Momentum, geçmiş gradyanların üstel ortalamasını "hatırlayarak" bu gürültüyü yumuşatır.
# Etkisini doğrudan görelim: aynı w=1.0 noktasında art arda 60 mini-batch (boyut 4)
# gradyanı çekip, ham hâlleriyle momentumun kullandığı ortalamayı karşılaştıralım.
# (Adım boyunu ayrıca η belirler; burada yalnızca yönün ne kadar gürültülü olduğuna bakıyoruz.)
beta = 0.9
rng3 = np.random.default_rng(7)
ham_gradyanlar, momentum_yonu = [], []
v = 0.0
for adim in range(60):
    g = gradyan_orneklem(w_sabit, rng3.integers(0, N, 4))
    v = beta * v + (1 - beta) * g   # v_t'nin yön kısmı: geçmiş gradyanların üstel ortalaması
    ham_gradyanlar.append(g)
    momentum_yonu.append(v)

ISINMA = 20  # v sıfırdan başladığı için ilk adımlar ortalamaya "ısınıyor"; onları karşılaştırma dışı tut
ham_std = np.std(ham_gradyanlar[ISINMA:])
mom_std = np.std(momentum_yonu[ISINMA:])
print(f"Gerçek gradyan (tam batch): {gercek_gradyan:.2f}")
print(f"Ham mini-batch gradyanlarının std'si     : {ham_std:.2f}")
print(f"Momentum ortalamasının (β={beta}) std'si  : {mom_std:.2f}  -> {ham_std / mom_std:.1f} kat daha sakin")
print(f"Son 40 adımın ortalaması -- ham: {np.mean(ham_gradyanlar[ISINMA:]):.2f}, momentum: {np.mean(momentum_yonu[ISINMA:]):.2f}")
print("Momentum, gürültüyü iptal edip gerçek gradyanın etrafında çok daha dar bir bantta kalıyor.")
print("Bedeli: ortalama geçmişe baktığı için yön değişikliklerine geç tepki verir -- β çok yüksekse")
print("eğitimde hedefi aşıp salınabilir.")