Prompt'u iyileştirme döngüsü: ölç, değiştir, karşılaştır

Kanca

3-7. derste görev, persona, örnek, düşünce zinciri, format gibi bir dizi “kol” (lever) öğrendik. Peki hangisini, ne zaman, nasıl denemeliyiz — ve bir değişikliğin gerçekten iyileştirme olduğunu nasıl biliriz?

Sezgi

Prompt iyileştirme, kör bir deneme-yanılma değil, üç adımlı bir döngüdür: ölç (net, programatik bir başarı kriteri tanımla), değiştir (tek bir şeyi değiştir), karşılaştır (kritere göre puanla) — sonra tekrarla. Aşağıda, bir e-postayı özetleme görevinde bu döngünün üç adımını incele:

Mekanizma

Önce ölç adımı: net, kontrol edilebilir kriterler tanımlayalım (uzunluk, bilgi korunumu, eylem odağı):

# Ölç adımı: net, programatik olarak kontrol edilebilir kriterler tanımla.
EYLEM_FIILLERI = {"update", "schedule", "confirm", "review", "send", "check", "reply", "move"}

def olcumler(metin):
    kelimeler = metin.split()
    uzunluk_ok = len(kelimeler) <= 15
    onemli_bilgi_var = "friday" in metin.lower()
    ilk_kelime = kelimeler[0].strip(":,.").lower()
    eylemle_basliyor = ilk_kelime in EYLEM_FIILLERI
    return {
        "uzunluk_ok": uzunluk_ok,
        "onemli_bilgi_var": onemli_bilgi_var,
        "eylemle_basliyor": eylemle_basliyor,
        "kelime_sayisi": len(kelimeler),
    }

print(f"E-posta: \"{EPOSTA[:60]}...\"\n")
print(f"{'Varyant':<8} {'<=15 kelime':<14} {'Friday bilgisi var':<20} {'Eylemle başlıyor':<18} {'Kelime sayısı'}")
for v in VARYANTLAR:
    olcum = olcumler(v["cikti"])
    print(f"{v['isim']:<8} {str(olcum['uzunluk_ok']):<14} {str(olcum['onemli_bilgi_var']):<20} {str(olcum['eylemle_basliyor']):<18} {olcum['kelime_sayisi']}")
    v["olcum"] = olcum

E-posta: "Hi team, the client meeting has been moved from Thursday 2pm..."

Varyant  <=15 kelime    Friday bilgisi var   Eylemle başlıyor   Kelime sayısı
v1       False          True                 False              40
v2       True           True                 False              12
v3       True           True                 True               9

Sonra karşılaştır adımı: her varyantı puanla ve neyin değiştiğini kaydet:

# Karşılaştır adımı: her varyantı, kaç kriteri karşıladığına göre puanla.
print(f"\n{'Varyant':<8} {'Puan (3 üzerinden)':<20} {'Değişen':<55}")
for v in VARYANTLAR:
    puan = sum(1 for k in ["uzunluk_ok", "onemli_bilgi_var", "eylemle_basliyor"] if v["olcum"][k])
    v["puan"] = puan
    print(f"{v['isim']:<8} {puan:<20} {v['degisen']:<55}")

print("\nv1 -> v2 -> v3 ilerlemesi: tek bir değişiklik (önce format kısıtı, sonra odak kısıtı)")
print("eklendikçe, puan 1'den 3'e yükseliyor -- her adımda tek bir değişken değiştirildiği")
print("için, hangi değişikliğin neyi düzelttiği nettir.")

Varyant  Puan (3 üzerinden)   Değişen                                                
v1       1                    (başlangıç noktası)                                    
v2       2                    + 'in exactly one sentence, under 15 words' (format kısıtı, 3. ders)
v3       3                    + 'focusing on the action the recipient must take' (odak kısıtı)

v1 -> v2 -> v3 ilerlemesi: tek bir değişiklik (önce format kısıtı, sonra odak kısıtı)
eklendikçe, puan 1'den 3'e yükseliyor -- her adımda tek bir değişken değiştirildiği
için, hangi değişikliğin neyi düzelttiği nettir.

Matematik

Kod

(grafiği tam boyutta, yeni sekmede aç)

Nerede işe yarar

Bu döngü, 1-7. derste öğrendiğimiz tüm tekniklerin (persona, few-shot, CoT, format) sistematik olarak nasıl seçileceğini belirler:

• Kriter olmadan “iyileştirme” yoktur — “bu daha iyi görünüyor” öznel bir yargıdır; “bu, kriterlerin 3’ünü de karşılıyor” nesnel bir ölçümdür.
• Üretim (production) ortamlarında bu döngü otomatikleştirilir — düzinelerce prompt varyantı, yüzlerce test girdisiyle otomatik olarak puanlanıp karşılaştırılabilir.
• Her yineleme (iterasyon), önceki adımların üzerine inşa edilir — 3-7. dersteki her teknik, bu döngüde denenip tutulabilecek ya da atılabilecek bir “hipotez”dir.

Bu 2 hatayı yaparsın:

1. Birden fazla değişikliği aynı anda yapmak — hangi değişikliğin sonucu etkilediğini artık bilemezsin.
2. Kriterleri belirsiz bırakmak (“daha iyi olsun”) — 7. dersteki gibi, programatik olarak kontrol edilebilir kriterler olmadan, “iyileşme” ölçülemez.

Kendini test et

Özet