Prompt'u iyileştirme döngüsü: ölç, değiştir, karşılaştır

Kanca

3-7. derste GÖREV, PERSONA, ÖRNEK, DÜŞÜNCE ZİNCİRİ, FORMAT gibi bir dizi “kol” (lever) öğrendik. Peki HANGİSİNİ, NE ZAMAN, NASIL denemeliyiz — ve bir değişikliğin GERÇEKTEN İYİLEŞTİRME olduğunu NASIL BİLİRİZ?

Sezgi

Prompt iyileştirme, KÖR bir deneme-yanılma DEĞİL, üç adımlı bir döngüdür: ÖLÇ (net, PROGRAMATİK bir başarı kriteri tanımla), DEĞİŞTİR (TEK bir şeyi değiştir), KARŞILAŞTIR (kritere göre puanla) — sonra TEKRARLA. Aşağıda, bir e-postayı özetleme görevinde bu döngünün ÜÇ adımını incele:

Mekanizma

Önce ÖLÇ adımı: net, KONTROL EDİLEBİLİR kriterler tanımlayalım (uzunluk, bilgi korunumu, eylem odağı):

# ÖLÇ adımı: NET, PROGRAMATİK OLARAK KONTROL EDİLEBİLİR kriterler tanımla.
EYLEM_FIILLERI = {"update", "schedule", "confirm", "review", "send", "check", "reply", "move"}

def olcumler(metin):
    kelimeler = metin.split()
    uzunluk_ok = len(kelimeler) <= 15
    onemli_bilgi_var = "friday" in metin.lower()
    ilk_kelime = kelimeler[0].strip(":,.").lower()
    eylemle_basliyor = ilk_kelime in EYLEM_FIILLERI
    return {
        "uzunluk_ok": uzunluk_ok,
        "onemli_bilgi_var": onemli_bilgi_var,
        "eylemle_basliyor": eylemle_basliyor,
        "kelime_sayisi": len(kelimeler),
    }

print(f"E-posta: \"{EPOSTA[:60]}...\"\n")
print(f"{'Varyant':<8} {'<=15 kelime':<14} {'Friday bilgisi var':<20} {'Eylemle başlıyor':<18} {'Kelime sayısı'}")
for v in VARYANTLAR:
    olcum = olcumler(v["cikti"])
    print(f"{v['isim']:<8} {str(olcum['uzunluk_ok']):<14} {str(olcum['onemli_bilgi_var']):<20} {str(olcum['eylemle_basliyor']):<18} {olcum['kelime_sayisi']}")
    v["olcum"] = olcum

E-posta: "Hi team, the client meeting has been moved from Thursday 2pm..."

Varyant  <=15 kelime    Friday bilgisi var   Eylemle başlıyor   Kelime sayısı
v1       False          True                 False              40
v2       True           True                 False              12
v3       True           True                 True               9

Sonra KARŞILAŞTIR adımı: her varyantı puanla ve NEYİN değiştiğini kaydet:

# KARŞILAŞTIR adımı: her varyantı, kaç kriteri KARŞILADIĞINA göre puanla.
print(f"\n{'Varyant':<8} {'Puan (3 üzerinden)':<20} {'Değişen':<55}")
for v in VARYANTLAR:
    puan = sum(1 for k in ["uzunluk_ok", "onemli_bilgi_var", "eylemle_basliyor"] if v["olcum"][k])
    v["puan"] = puan
    print(f"{v['isim']:<8} {puan:<20} {v['degisen']:<55}")

print("\nv1 -> v2 -> v3 İLERLEMESİ: TEK bir değişiklik (önce FORMAT kısıtı, sonra ODAK kısıtı)")
print("eklendikçe, puan 1'den 3'e yükseliyor -- HER adımda TEK bir değişken değiştirildiği")
print("için, HANGİ değişikliğin NEYİ düzelttiği NETTİR.")

Varyant  Puan (3 üzerinden)   Değişen                                                
v1       1                    (başlangıç noktası)                                    
v2       2                    + 'in exactly one sentence, under 15 words' (FORMAT kısıtı, 3. ders)
v3       3                    + 'focusing on the action the recipient must take' (odak kısıtı)

v1 -> v2 -> v3 İLERLEMESİ: TEK bir değişiklik (önce FORMAT kısıtı, sonra ODAK kısıtı)
eklendikçe, puan 1'den 3'e yükseliyor -- HER adımda TEK bir değişken değiştirildiği
için, HANGİ değişikliğin NEYİ düzelttiği NETTİR.

Matematik

Kod

Nerede işe yarar

Bu döngü, 1-7. derste öğrendiğimiz TÜM tekniklerin (persona, few-shot, CoT, format) SİSTEMATİK olarak nasıl SEÇİLECEĞİNİ belirler:

• Kriter olmadan “iyileştirme” YOKTUR — “bu daha iyi görünüyor” ÖZNEL bir yargıdır; “bu, kriterlerin 3’ünü de karşılıyor” NESNEL bir ÖLÇÜMDÜR.
• Üretim (production) ortamlarında bu döngü OTOMATİKLEŞTİRİLİR — düzinelerce prompt varyantı, YÜZLERCE test girdisiyle OTOMATİK olarak puanlanıp karşılaştırılabilir.
• Her yineleme (iterasyon), ÖNCEKİ adımların üzerine İNŞA EDİLİR — 3-7. dersteki HER teknik, bu döngüde denenip TUTULABİLECEK ya da ATILABİLECEK bir “hipotez”dir.

Bu 2 hatayı yaparsın:

1. Birden fazla değişikliği AYNI ANDA yapmak — hangi değişikliğin SONUCU etkilediğini ARTIK bilemezsin.
2. Kriterleri BELİRSİZ bırakmak (“daha iyi olsun”) — 7. dersteki gibi, PROGRAMATİK olarak KONTROL EDİLEBİLİR kriterler olmadan, “iyileşme” ÖLÇÜLEMEZ.

Kendini test et

Özet