Tipik bir eval workflow'u

Bu modül için tahmini süre: 5 dakika

Genel bakış

Tipik bir prompt evaluation workflow’u, prompt’larınızı objektif ölçüm yoluyla sistematik olarak iyileştirmenize yardımcı olan beş ana adımdan oluşur. Bu workflow’ları birleştirmek için pek çok farklı yol ve hem açık kaynaklı hem ücretli araç olsa da, çekirdek süreci anlamak küçük başlayıp ihtiyaca göre ölçeklendirmenize olanak tanır.

Adım 1: Prompt taslağı çıkar

İyileştirmek istediğiniz bir initial prompt yazarak başlayın. Bu örnek için basit bir prompt kullanacağız:

prompt = f"""
Please answer the user's question:

{question}
"""

Bu basit prompt test ve iyileştirme için baseline’ımız olacak.

Adım 2: Eval dataset’i oluştur

Evaluation dataset’iniz, prompt’unuzun production’da işleyeceği soru veya isteklerin türlerini temsil eden örnek input’lar içerir. Dataset, prompt template’inize interpolate edilecek soruları içermelidir.

Bu örnek için dataset’imiz üç soru içeriyor:

• “What’s 2+2?”
• “How do I make oatmeal?”
• “How far away is the Moon?”

Gerçek dünyadaki evaluation’larda onlarca, yüzlerce hatta binlerce kaydınız olabilir. Bu dataset’leri elle de derleyebilir, sizin için Claude’a da ürettirebilirsiniz.

Adım 3: Claude’a feed et

Dataset’inizdeki her soruyu prompt template’iniz ile birleştirip tam prompt’lar oluşturun. Sonra her birini Claude’a göndererek response’ları alın.

Örneğin ilk soru şuna dönüşür:

Please answer the user's question:
What's 2+2?

Claude matematik sorusu için “2 + 2 = 4” diye yanıt verebilir, ikinci soru için oatmeal pişirme talimatları verir, üçüncü soru için Ay’a olan uzaklığı söyler.

Adım 4: Grader’a feed et

Grader, hem orijinal soruyu hem Claude’un yanıtını inceleyerek response’ların kalitesini değerlendirir. Bu adım, tipik olarak 1-10 ölçeğinde objektif puanlama sağlar; burada 10 mükemmel bir yanıtı, düşük puanlar ise iyileştirme alanlarını temsil eder.

Örneğimizde grader şunları atayabilir:

• Matematik sorusu: 10 (mükemmel yanıt)
• Oatmeal sorusu: 4 (iyileştirme gerekiyor)
• Moon sorusu: 9 (çok iyi yanıt)

Tüm sorulardaki ortalama puan size objektif bir ölçüm verir: (10 + 4 + 9) ÷ 3 = 7.66

Adım 5: Prompt’u değiştir ve tekrarla

Artık bir baseline puanınız olduğuna göre prompt’unuzu değiştirip değişikliklerinizin performansı iyileştirip iyileştirmediğini görmek için tüm süreci tekrar çalıştırabilirsiniz.

Örneğin prompt’unuza daha fazla yönlendirme ekleyebilirsiniz:

prompt = f"""
Please answer the user's question:

{question}

Answer the question with ample detail
"""

Bu iyileştirilmiş prompt’u aynı evaluation sürecinden geçirdikten sonra 8.7 gibi daha yüksek bir ortalama puan alabilirsiniz; bu ek talimatın Claude’un daha iyi yanıtlar vermesine yardımcı olduğunu gösterir.

Prompt scoring

Bu workflow’un temel faydası prompt performansının objektif ölçümünü elde etmektir. Şunları yapabilirsiniz:

• Farklı prompt versiyonlarını sayısal olarak karşılaştırmak
• En iyi puana sahip versiyonu kullanmak
• Daha da iyi yaklaşımlar bulmak için iterasyona devam etmek

Bu sistematik yaklaşım prompt engineering’den tahmini kaldırır ve değişikliklerinizin gerçekten farklı varyasyonlar değil iyileştirmeler olduğuna güvenmenizi sağlar.

Temel çıkarımlar

• Tipik eval pipeline’ı beş adımdan oluşur: prompt, dataset, model çağrısı, grading, iterasyon
• Dataset elle yazılabilir ama hızlı başlamak için Claude’a da ürettirebilirsiniz
• Grader 1-10 skalasında puan döndürmeli ve tüm test case’lerin ortalaması baseline metriğinizdir
• Prompt versiyonlarını puanlarına göre karşılaştırarak “hangi değişiklik gerçekten faydalı” sorusuna objektif yanıt verebilirsiniz
• Bu beş adım, ileride göreceğimiz daha karmaşık eval sistemlerinin temel iskeletidir