Denetimli / denetimsiz / pekiştirmeli

# DENETİMLİ (supervised): elimizde hem öznitelik hem DOĞRU CEVAP (etiket) var.
# Örnek: ev büyüklüğü (m²) → fiyat (bin TL). Etiket (fiyat) elimizde.
metrekare = rng.uniform(50, 200, size=30)
fiyat = 15 * metrekare + rng.normal(0, 200, size=30)  # gerçek fiyatları BİLİYORUZ

print("Denetimli öğrenme örneği: ev fiyatı tahmini")
print(f"Öznitelik (metrekare) örnek: {metrekare[:3].round(1)}")
print(f"Etiket (gerçek fiyat, bin TL) örnek: {fiyat[:3].round(0)}")
print("Amaç: metrekare → fiyat ilişkisini öğrenip YENİ bir evin fiyatını tahmin etmek.")

# DENETİMSİZ (unsupervised): elimizde SADECE öznitelikler var, DOĞRU CEVAP (etiket) yok.
# Örnek: müşterilerin yıllık harcaması ve ziyaret sıklığı — hangi müşteri "hangi gruba
# ait" diye bir etiket YOK, algoritma kendisi benzer müşterileri gruplandırmalı.
n = 60
grup1 = rng.normal([30, 4], [5, 1], size=(30, 2))   # az harcayan, sık ziyaret eden
grup2 = rng.normal([80, 1], [8, 0.5], size=(30, 2))  # çok harcayan, nadir ziyaret eden
musteriler = np.vstack([grup1, grup2])
rng.shuffle(musteriler)

print(f"\nDenetimsiz öğrenme örneği: {len(musteriler)} müşteri, HİÇBİR etiket yok")
print("Amaç: hangi müşterilerin birbirine benzediğini, ETİKET olmadan bulmak (kümeleme, 27. ders).")

# PEKİŞTİRMELİ (reinforcement): bir AJAN, DENEME-YANILMA ile öğrenir — doğru cevap
# baştan verilmez, sadece bir "ödül" sinyali vardır. Örnek: iki reklam versiyonundan
# hangisi daha çok tıklanıyor, zamanla DENEYEREK öğrenmek (basit bir "bandit" problemi).
gercek_tiklanma_orani = [0.10, 0.25]  # ajan bunları BİLMİYOR, keşfetmesi gerekiyor
tahmini_oranlar = [0.5, 0.5]  # başlangıçta ikisi de eşit "iyi" sanılıyor
denemeler = [0, 0]
odul_toplami = [0, 0]

secim_gecmisi = []
for adim in range(200):
    secilen = int(np.argmax(tahmini_oranlar))  # şimdiye kadar en iyi görüneni seç
    odul = rng.random() < gercek_tiklanma_orani[secilen]
    denemeler[secilen] += 1
    odul_toplami[secilen] += odul
    tahmini_oranlar[secilen] = odul_toplami[secilen] / denemeler[secilen]  # tahmini güncelle
    secim_gecmisi.append(secilen)

print(f"\nPekiştirmeli öğrenme örneği: 200 denemede reklam seçimi (SAF açgözlü ajan)")
print(f"A reklamı: {denemeler[0]} kez denendi, tahmini oran={tahmini_oranlar[0]:.2f} (gerçek={gercek_tiklanma_orani[0]})")
print(f"B reklamı: {denemeler[1]} kez denendi, tahmini oran={tahmini_oranlar[1]:.2f} (gerçek={gercek_tiklanma_orani[1]})")
print("Ajan, ilk denemede A'dan şanslı bir ödül aldı ve bir daha B'yi hiç denemedi —")
print("bu, SAF açgözlü (hiç keşif yapmayan) bir ajanın klasik tuzağı.")

# ÇÖZÜM: %10 ihtimalle RASTGELE bir reklamı dene (keşif), %90 ihtimalle en iyi bilineni
# seç (sömürü, exploitation). Buna epsilon-açgözlü (epsilon-greedy) denir.
rng2 = np.random.default_rng(7)
tahmini_oranlar_eg = [0.5, 0.5]
denemeler_eg = [0, 0]
odul_toplami_eg = [0, 0]
epsilon = 0.10

for adim in range(200):
    if rng2.random() < epsilon:
        secilen = rng2.integers(0, 2)  # KEŞİF: rastgele dene
    else:
        secilen = int(np.argmax(tahmini_oranlar_eg))  # SÖMÜRÜ: en iyi bilineni seç
    odul = rng2.random() < gercek_tiklanma_orani[secilen]
    denemeler_eg[secilen] += 1
    odul_toplami_eg[secilen] += odul
    tahmini_oranlar_eg[secilen] = odul_toplami_eg[secilen] / denemeler_eg[secilen]

print(f"\nEpsilon-açgözlü ajan (yüzde 10 keşif) ile aynı 200 deneme:")
print(f"A reklamı: {denemeler_eg[0]} kez denendi, tahmini oran={tahmini_oranlar_eg[0]:.2f}")
print(f"B reklamı: {denemeler_eg[1]} kez denendi, tahmini oran={tahmini_oranlar_eg[1]:.2f} (gerçek={gercek_tiklanma_orani[1]})")
print("Az miktarda rastgele keşif bile, ajanın gerçek en iyi seçeneği (B) bulmasını sağladı.")