RNN

# RNN (Recurrent Neural Network), bir diziyi tek tek, bir "gizli durum" (hafıza)
# taşıyarak işler. Her adımda: yeni gizli durum = f(şu anki girdi, önceki gizli durum).
rnn = nn.RNN(input_size=4, hidden_size=3, batch_first=True)

dizi = torch.randn(1, 3, 4)  # (batch=1, 3 adımlık dizi, her adım 4 boyutlu)
cikis, son_gizli = rnn(dizi)
print("Girdi şekli:", tuple(dizi.shape), "(batch, sekans_uzunluğu, embedding_boyutu)")
print("Her adımdaki gizli durum şekli:", tuple(cikis.shape))
print("\nHer adımdaki gizli durum (h_t):")
for t in range(3):
    print(f"  h_{t}: {[round(v,3) for v in cikis[0,t].tolist()]}")

# RNN'nin formülünü elle uygulayıp PyTorch'un sonucuyla karşılaştıralım.
W_ih, W_hh = rnn.weight_ih_l0, rnn.weight_hh_l0
b_ih, b_hh = rnn.bias_ih_l0, rnn.bias_hh_l0

h = torch.zeros(3)  # başlangıç gizli durumu -- sıfır
elle_gizli = []
for t in range(3):
    h = torch.tanh(W_ih @ dizi[0, t] + b_ih + W_hh @ h + b_hh)
    elle_gizli.append([round(v, 3) for v in h.tolist()])

print("\nElle hesaplanan (h_t = tanh(W_ih·x_t + b_ih + W_hh·h_{t-1} + b_hh)):")
for t, hv in enumerate(elle_gizli):
    print(f"  h_{t}: {hv}")
print(f"\nPyTorch ile birebir aynı mı? {all(abs(a-b) < 1e-4 for t in range(3) for a,b in zip(elle_gizli[t], [round(v,3) for v in cikis[0,t].tolist()]))}")

# RNN'nin kritik özelliği: her adımdaki gizli durum, önceki tüm dizinin sırasına bağlıdır.
dizi_ters = dizi[:, [2, 1, 0], :]  # Aynı 3 "kelime", ters sırada
_, son_gizli_ters = rnn(dizi_ters)

print(f"\nOrijinal sıra, son gizli durum: {[round(v,3) for v in son_gizli[0,0].tolist()]}")
print(f"Ters sıra, son gizli durum:     {[round(v,3) for v in son_gizli_ters[0,0].tolist()]}")
print(f"Aynı mı? {torch.allclose(son_gizli, son_gizli_ters)}")
print("Aynı 3 vektör, sadece sırası değişince, tamamen farklı bir son gizli durum üretiyor.")

# 1. dersteki o çarpıcı örneğe dönelim: bag-of-words'ün ayırt edemediği iki cümle.
kelimeler_p = ["bu", "film", "çok", "iyi", "hiç", "kötü", "değil"]  # Olumlu
kelimeler_n = ["bu", "film", "hiç", "iyi", "değil", "çok", "kötü"]  # Olumsuz

dagarcik = sorted(set(kelimeler_p) | set(kelimeler_n))
EMBED_BOYUT = 8
embedding_tablosu = {k: torch.randn(EMBED_BOYUT) for k in dagarcik}  # rastgele (henüz eğitilmemiş) embedding'ler

def diziye_cevir(kelimeler):
    return torch.stack([embedding_tablosu[k] for k in kelimeler]).unsqueeze(0)

rnn2 = nn.RNN(input_size=EMBED_BOYUT, hidden_size=4, batch_first=True)
_, h_p = rnn2(diziye_cevir(kelimeler_p))
_, h_n = rnn2(diziye_cevir(kelimeler_n))

def bow(kelimeler, dagarcik):
    sayim = Counter(kelimeler)
    return [sayim.get(k, 0) for k in dagarcik]

print(f"\n1. dersteki bag-of-words vektörleri aynı mı? {bow(kelimeler_p, dagarcik) == bow(kelimeler_n, dagarcik)}")
print(f"RNN'nin son gizli durumları aynı mı? {torch.allclose(h_p, h_n)}")
print(f"\nPozitif cümle son gizli durum: {[round(v,3) for v in h_p[0,0].tolist()]}")
print(f"Negatif cümle son gizli durum: {[round(v,3) for v in h_n[0,0].tolist()]}")
print("\nRNN henüz eğitilmemiş olsa bile (rastgele ağırlıklarla), sıraya duyarlı olduğu için")
print("bu iki cümleyi farklı temsillere çeviriyor -- 1. dersteki sorunun doğrudan çözümü.")