Derin Öğrenme: NLP & LLM

Zıt anlamlı iki cümle -- 'çok iyi, hiç kötü değil' ve 'hiç iyi değil, çok kötü' -- bag-of-words'te BİREBİR AYNI sayı dizisine dönüşüyor. Sorun nedir?

'değil'i durak kelime sayıp çıkarınca cümle sadece ['iyi','kötü'] kalıyor -- OLUMSUZLUK kayboluyor. Gövde bulma da 'masa'yı yanlışlıkla 'mas'a kırpıyor.

Aynı tokenizer ile İngilizce kelimeler ortalama 1.33 token'a inerken Türkçe kelimeler 6.67 token'a bölünüyor -- 5 kat fark. Neden?

One-hot'ta 'kral'-'kraliçe' benzerliği 0.00 -- 'kral'-'masa' ile BİREBİR AYNI. TF-IDF bile bu kelime-anlamı sorununu çözmüyor.

4. derste 'kral-kraliçe' benzerliği 0.00'dı. Embedding'lerde kraliçe kralın en yakın komşusu oluyor -- 'kral-erkek+kadın' aritmetiği de kraliçe'yi buluyor.

1. derste bag-of-words AYNI vektörü verdi. Eğitilmemiş bir RNN bile bu iki cümleyi FARKLI son gizli durumlara çeviriyor -- sadece SIRAYA duyarlı olduğu için.

50 adımlık dizide RNN'in gradyanı 4.6e-16'ya çöküyor. LSTM'inki aynı uzunlukta 58.759 kat büyük -- hücre durumu, ResNet'in atlama fikrini zamanda uyguluyor.

100 kelimelik bir dizide LSTM'nin gradyanı 5.7e-22'ye çöküyor -- ilk kelime fiilen unutuluyor. Üstelik dizi 16 kat uzayınca işlem süresi de 8 kat artıyor.

'kral ülkeyi adaletle yönetti'de bir sorgu, kral'a 0.614, ülkeyi'ye 0.337 ağırlık verir -- tek vektör yerine, kelimelerin ağırlıklı karışımı alınır.

'Kedi masaya çıktı çünkü o yorulmuştu' cümlesinde self-attention, 'o' zamirinin %52 ağırlıkla 'Kedi'ye baktığını hiçbir dilbilgisi kuralı olmadan buluyor.

Elle yazılan attention fonksiyonu, PyTorch'un yerleşiğiyle 2.4e-07 farkla eşleşiyor. Nedensel maskeyle bir token, gelecekteki kelimeleri artık hiç göremiyor.

Tek başlık 'çıktı'nın nereye baktığını bulamadı (ağırlıklar 0.136-0.204 arası düz). İki başlıkla, biri 'o→Kedi'yi biri 'çıktı→masaya'yı yakalıyor.

Token sırası karıştırılıp geri sıralanınca self-attention çıktısı değişmiyor (fark ~0) -- konum kavramı yok. Sinüzoidal kodlama eklenince fark 1.40'a çıkıyor.

50 katman üst üste yığılınca, artık bağlantı olmadan gradyan 1.23e-06'ya çöküyor. Artık bağlantıyla 448'de kalıyor -- layer norm da büyüklüğü 4.0'da sabitliyor.

0. token'ı değiştirince attention'da diğer token'ların çıktısı değişiyor (fark 3-12); FFN'de fark tam sıfır. FFN, parametrelerin attention'ın 2 katını taşıyor.

'cat' üretilirken çapraz dikkat, kaynak cümledeki 'Kedi'ye 0.658 ağırlıkla bakıyor. Decoder, encoder çıktısına bu yeni dikkat türüyle bağlanır.

Eğitilen bir decoder, 'ABCABC...' örüntüsünü kayıp 0.0001'e inene kadar öğrendi ve kendi tahminleriyle 20 token doğru üretti. Çıkarım, eğitimin 7.3 katı yavaş.

GPT çapraz dikkati atıp sadece decoder kullanır (%75 parametre). Post-norm'da 10 katman sonra gradyan sıfıra çöküyor; GPT'nin pre-norm'u 100 katmanda sağlıklı.

6.179 parametrelik eğitilmiş bir mini-GPT, 'ABCAB'den sonra 'C'yi %99.99 olasılıkla tahmin ediyor -- 9-18. dersin tüm parçaları burada birleşiyor.

Eğitilmemiş modelin şaşırması (perplexity) 3.94; eğitilmiş modelinki 1.0001'e iniyor. Model, hiç görmediği bağlam uzunluklarında bile doğru tahmin yapıyor.

Aynı yönlü yeni görevde ince ayar adım 0'da kayıpsız başlıyor (pozitif transfer). Ters yönlü görevde sıfırdan eğitimden bile yavaş kalıyor (negatif transfer).

Model 'AB'den sonra %61.6 C, %38.4 D öğreniyor. Açgözlü çözme her zaman C üretir; 1000 örneklemede gerçek oran %61.5/%38.5 -- örnekleme belirsizliği korur.