Düşünce zinciri (chain-of-thought) ve sınırları

# "Düşünce zinciri" (chain-of-thought, CoT): modele doğrudan cevabı sormak yerine,
# ara adımları göstermesini istemek. Bir çok-adımlı problem üzerinde karşılaştıralım.
SORU = (
    "A store had 84 apples. They sold 27 in the morning and 19 in the afternoon, "
    "then received a new delivery of 45 apples. How many apples does the store have now?"
)
DOGRUDAN_ISTEM = SORU + " Answer with just the final number."
COT_ISTEM = SORU + " Think step by step, showing each calculation before giving the final answer."

# Öğretici amaçlı örnek çıktılar (gerçek bir LLM'e bu ortamda erişim yok, ama token
# sayımı gerçek bir tokenizer ile yapılıyor):
DOGRUDAN_CIKTI = "83"
COT_CIKTI = (
    "Start: 84 apples.\n"
    "Morning sale: 84 - 27 = 57.\n"
    "Afternoon sale: 57 - 19 = 38.\n"
    "New delivery: 38 + 45 = 83.\n"
    "Final answer: 83"
)

t_dogrudan_istem = mesaj_token_sayisi(DOGRUDAN_ISTEM)
t_cot_istem = mesaj_token_sayisi(COT_ISTEM)
t_dogrudan_cikti = mesaj_token_sayisi(DOGRUDAN_CIKTI)
t_cot_cikti = mesaj_token_sayisi(COT_CIKTI)

print(f"Doğrudan istem: {t_dogrudan_istem} token, çıktı: {t_dogrudan_cikti} token, toplam: {t_dogrudan_istem + t_dogrudan_cikti}")
print(f"CoT istem:      {t_cot_istem} token, çıktı: {t_cot_cikti} token, toplam: {t_cot_istem + t_cot_cikti}")
print(f"\nCoT, toplam maliyeti {(t_cot_istem+t_cot_cikti)/(t_dogrudan_istem+t_dogrudan_cikti):.1f}x artırıyor -- çoğu")
print("ek maliyet, istemden değil, çıktıdan (ara adımların yazılmasından) geliyor.")

# 17-19. dersten (NLP kategorisi) hatırla: bir Transformer, her token için sabit
# miktarda hesaplama yapar (N katman, tek ileri geçiş) -- token başına "düşünme" sınırlıdır.
print("\n17-19. dersten (NLP & LLM kategorisi) hatırla: bir Transformer, her yeni token için")
print("sabit sayıda katmandan sadece bir kez geçer -- 'tek adımda' ne kadar karmaşık bir")
print("hesaplama yapabileceği sınırlıdır. Ama her üretilen token, bir sonraki token'ın")
print("bağlamının bir parçası olur (17. ders, otoregresif üretim).")
print("\nCoT, bu sınırı 'aşmanın' bir yolu: modelin karmaşık problemi tek bir ileri geçişte")
print("çözmesini istemek yerine, hesaplamayı ara adımlara yayarak, her adımı ayrı (ve daha")
print("basit) bir ileri geçişte ürettirmek -- ve her adım, bir sonrakinin girdisi olur.")

# CoT mükemmel değildir. Araştırmalar (Anthropic, 2023, "Measuring Faithfulness in
# Chain-of-Thought Reasoning") gösterdi: modelin yazdığı ara adımlar, cevaba gerçekten
# nasıl ulaştığını her zaman dürüstçe yansıtmayabilir -- bu "sadakatsizlik" (unfaithfulness)
# olarak adlandırılır.
print("\nCoT'un bilinen sınırları:")
print("  1. Maliyet: bu dersteki örnekte toplam token maliyetini belirgin biçimde artırdı.")
print("  2. Basit görevlerde faydasız: tek adımlı bir soruda ('2+2 kaç eder?') CoT gereksiz")
print("     uzunluk ve gecikme (latency) ekler.")
print("  3. Sadakatsizlik (unfaithfulness): araştırmalar, modelin yazdığı 'akıl yürütmenin',")
print("     cevaba nasıl ulaştığının her zaman doğru bir açıklaması olmayabileceğini gösterdi --")
print("     yazılan adımlar 'makul görünen' ama gerçek süreci yansıtmayan bir anlatı olabilir.")