Bag-of-words'ten gömmeye

# 1. derste bag-of-words'ün kelime SIRASINI kaybettiğini gördük. Şimdi ikinci,
# daha derin bir sorununa bakalım: bag-of-words, kelimeler ARASINDAKİ anlam
# benzerliğini de HİÇ yakalamıyor.
kelime_dagarcigi = ["kral", "kraliçe", "masa", "sandalye", "elma"]

def one_hot(kelime, dagarcik):
    v = np.zeros(len(dagarcik))
    v[dagarcik.index(kelime)] = 1
    return v

def kosinus_benzerligi(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b) + 1e-12)

print("One-hot vektörlerle 'kral' kelimesinin diğerlerine benzerliği:")
v_kral = one_hot("kral", kelime_dagarcigi)
for k in kelime_dagarcigi:
    v_k = one_hot(k, kelime_dagarcigi)
    print(f"  benzerlik(kral, {k:<10}) = {kosinus_benzerligi(v_kral, v_k):.2f}")

print("\n'kral'-'kraliçe' benzerliği (0.00), 'kral'-'masa' benzerliğiyle (0.00) BİREBİR AYNI!")
print("Oysa kral/kraliçe anlamca YAKIN, kral/masa hiç İLİŞKİSİZ. One-hot/bag-of-words bu farkı GÖREMİYOR.")
print("Neden: her kelime, dağarcıktaki DİĞER kelimelerden bağımsız, kendi başına bir boyuttur.")

# TF-IDF (Term Frequency - Inverse Document Frequency), bag-of-words'ü kısmen
# iyileştirir: SIK belgede geçen (dolayısıyla az ayırt edici) kelimeleri AŞAĞI ağırlıklandırır.
belgeler = [
    "kral ve kraliçe sarayda yaşar",
    "kral ordu ile savaşa gider",
    "kraliçe bahçede çiçek toplar",
]
kelimeler_listesi = [b.split() for b in belgeler]
dagarcik_tfidf = sorted(set(w for kl in kelimeler_listesi for w in kl))

def tf_hesapla(kelimeler, dagarcik):
    sayim = Counter(kelimeler)
    toplam = len(kelimeler)
    return np.array([sayim.get(k, 0) / toplam for k in dagarcik])

def idf_hesapla(kelimeler_listesi, dagarcik):
    N = len(kelimeler_listesi)
    return np.array([np.log(N / sum(1 for kl in kelimeler_listesi if k in kl)) for k in dagarcik])

idf = idf_hesapla(kelimeler_listesi, dagarcik_tfidf)
print(f"\n3 belgelik bir corpus'ta 'kral' ve 'kraliçe' 2 belgede geçiyor (IDF düşük);")
print("'sarayda', 've', 'yaşar' gibi kelimeler SADECE 1 belgede geçiyor (IDF yüksek).")

for i, kl in enumerate(kelimeler_listesi):
    tf = tf_hesapla(kl, dagarcik_tfidf)
    tfidf = tf * idf
    en_yuksek = sorted(zip(dagarcik_tfidf, tfidf), key=lambda x: -x[1])[:2]
    print(f"Belge {i+1} en yüksek TF-IDF'li kelimeleri: {[(k, round(v,3)) for k,v in en_yuksek]}")

# TF-IDF, HANGİ belgenin hangi kelimeyi ne kadar 'ayırt edici' kullandığını gösterir --
# ama YİNE DE kelimeler arasındaki ANLAM benzerliğini yakalamaz.
print("\nTF-IDF, 'kral' ve 'kraliçe' kelimelerinin AYRI AYRI vektörlerini karşılaştırdığımızda")
print("hâlâ aynı one-hot mantığını kullanıyor -- kelime düzeyinde benzerlik SORUSU hâlâ cevapsız.")
print("TF-IDF, BELGELERİ karşılaştırmak için faydalı (arama motorları gibi) ama KELİMELERİ")
print("anlam uzayında birbirine YAKLAŞTIRMIYOR.")

# İhtiyacımız olan şey: her kelimeyi, ANLAMCA yakın kelimelerin YAKIN, uzak
# kelimelerin UZAK olduğu, YOĞUN (dense) ve DÜŞÜK boyutlu bir vektöre çevirmek.
print(f"\nOne-hot vektör boyutu (dağarcık kadar): {len(kelime_dagarcigi)} -- gerçek bir dağarcıkta 50.000+ olabilir.")
print("Hedeflediğimiz 'embedding' vektörü ise TİPİK OLARAK sadece 100-1000 boyutlu -- ve SEYREK değil YOĞUN.")
print("5. derste (Word Embedding) bu vektörleri NASIL öğrendiğimizi göreceğiz -- öyle ki")
print("'kral' - 'erkek' + 'kadın' ≈ 'kraliçe' gibi ARİTMETİK bile anlamlı hale gelecek.")