Sınıflandırma kayıp fonksiyonları

# Gerçek sınıf y=1 (örnek gerçekten "spam"). Model üç farklı olasılık üretiyor.
y_gercek = 1
for p_tahmin in [0.51, 0.9, 0.99, 0.999]:
    kayip = ikili_capraz_entropi(np.array([y_gercek]), np.array([p_tahmin]))
    print(f"  p={p_tahmin:<6} (doğru yönde) -> kayıp={kayip:.4f}")

print()
for p_tahmin in [0.49, 0.1, 0.01, 0.001]:
    kayip = ikili_capraz_entropi(np.array([y_gercek]), np.array([p_tahmin]))
    print(f"  p={p_tahmin:<6} (YANLIŞ yönde) -> kayıp={kayip:.4f}")

print("\nModel YANLIŞ yönde ne kadar 'emin' olursa (p küçüldükçe), kayıp SONSUZA yaklaşıyor.")
print("Doğru yönde emin olmak neredeyse ödülsüz (kayıp ~0'a iniyor) ama yanlış yönde emin olmak ağır cezalandırılıyor.")

# Aynı senaryoyu MSE ile karşılaştıralım -- neden sınıflandırmada cross-entropy tercih edilir?
def kare_kayip(y, p):
    return np.mean((y - p) ** 2)

print(f"\n{'p (yanlış yönde)':<20} {'Cross-entropy':<16} {'MSE':<10}")
for p_tahmin in [0.5, 0.1, 0.01, 0.001]:
    ce = ikili_capraz_entropi(np.array([y_gercek]), np.array([p_tahmin]))
    mse_ = kare_kayip(np.array([y_gercek]), np.array([p_tahmin]))
    print(f"{p_tahmin:<20} {ce:<16.4f} {mse_:<10.4f}")

print("\nMSE, p küçüldükçe en fazla 1.0'a yaklaşıyor (sınırlı) -- cross-entropy ise SINIRSIZ büyüyor.")
print("Bu fark, gradyanda da görünüyor: MSE + sigmoid kombinasyonu, çok yanlış tahminlerde bile KÜÇÜK gradyan üretebilir (5. ders: kaybolan gradyan).")

# PyTorch autograd ile, aynı çok-yanlış tahminde iki kaybın gradyanını karşılaştıralım.
z = torch.tensor(-5.0, requires_grad=True)  # çok negatif bir logit -- model "spam değil" diyor ama gerçek spam
p = torch.sigmoid(z)
y = torch.tensor(1.0)

bce = nn.functional.binary_cross_entropy(p, y)
bce.backward()
grad_bce = z.grad.item()

z2 = torch.tensor(-5.0, requires_grad=True)
p2 = torch.sigmoid(z2)
mse_kayip = (p2 - y) ** 2
mse_kayip.backward()
grad_mse = z2.grad.item()

print(f"\nz=-5.0 (çok yanlış tahmin) için d(kayıp)/dz:")
print(f"  Binary cross-entropy: {grad_bce:.5f}  (BÜYÜK -- ağırlıklar hızla düzelir)")
print(f"  MSE (sigmoid çıktıyla): {grad_mse:.5f}  (küçük -- sigmoid doygunluğu gradyanı boğuyor)")
print("Cross-entropy'nin gradyanı, sigmoid'in türevini SADELEŞTİRDİĞİ için doygunluktan etkilenmiyor.")

# Çok sınıflı (softmax + kategorik cross-entropy) versiyonu.
def kategorik_capraz_entropi(y_indeksi, olasiliklar, eps=1e-12):
    return -np.log(np.clip(olasiliklar[y_indeksi], eps, 1))

olasiliklar_iyi = np.array([0.7, 0.2, 0.1])   # model doğru sınıfa (0) yüksek olasılık verdi
olasiliklar_kotu = np.array([0.1, 0.2, 0.7])  # model doğru sınıfa (0) düşük olasılık verdi
gercek_sinif = 0

print(f"\nGerçek sınıf: {gercek_sinif}")
print(f"  İyi tahmin {olasiliklar_iyi} -> kayıp={kategorik_capraz_entropi(gercek_sinif, olasiliklar_iyi):.4f}")
print(f"  Kötü tahmin {olasiliklar_kotu} -> kayıp={kategorik_capraz_entropi(gercek_sinif, olasiliklar_kotu):.4f}")

# PyTorch nn.CrossEntropyLoss ile doğrulama (ham logit alır, kendi içinde softmax uygular)
logitler = torch.tensor([[2.0, 0.5, -0.5]])  # olasiliklar_iyi'ye yakın bir dağılım üretir
hedef = torch.tensor([0])
ce_fn = nn.CrossEntropyLoss()
print(f"\nPyTorch CrossEntropyLoss (ham logit'lerden): {ce_fn(logitler, hedef).item():.4f}")