Domain 4 özeti — Başarı kriteri, otomatik tarama, root cause, tuning
Domain 4 — Success criteria, automated scanning, root cause, tuning
Bu derste neler öğreneceksin
- Başarı kriteri ve eval sinyallerini (nicel + nitel) tanımlamak
- CodeQL / secret scanning / dependency review'ı eval sinyali olarak kullanmak
- Root cause üçlüsünü (reasoning / tool misuse / context-env) ezbere bilmek
- Tuning kararını (instruction / tool izni / memory) doğru yere uygulamak
Ağırlık: %15-20 · Mock’ta ~9 soru. Kavramları biliyorsan rahat; GitHub-spesifik tarama araçları için extra çalışma şart.
1. Başarı kriteri ve eval sinyalleri
4 bullet:
- Specify expected outcomes + operational constraints
- Identify qualitative and quantitative signals
- Align evaluation criteria with development intent
- Generate evaluation signals by using automated scanning tools
Sinyal türleri
| Tür | Örnek |
|---|---|
| Nicel | Test pass rate, lint error count, CodeQL finding count, dependency vulnerability count |
| Nitel | Code review yorumları, kullanıcı feedback, “bu PR mantıklı mı” insan değerlendirmesi |
İkisi birlikte kullanılır. Sadece nicel yeterli değil (test geçer ama mantık yanlış olabilir); sadece nitel ölçeklemez.
2. Otomatik tarama = eval sinyali (GitHub-spesifik)
GH-600’ün GitHub-yerli araçları:
| Araç | Ne tarar | Eval sinyali |
|---|---|---|
| CodeQL | Kod güvenlik açığı | Finding count + severity |
| Secret scanning | Push edilen secret’lar | Sızıntı sayısı |
| Dependency review | PR’daki yeni bağımlılık vulnerability’leri | Vulnerability count |
| Actions test/lint job’ları | Test pass/fail, lint hata | Pass rate, error count |
Bu çıktılar otomatik eval sinyali üretir — agent’ın çıktısı bu tarama’lardan geçmediyse iyi değil (kalite gate).
3. Root cause sınıflandırması — sınavın imza üçlüsü
Domain 4.2 birebir bullet: “Classify root causes, including reasoning errors, tool misuse, and context or environment issues”.
Üçlü kategori
| Kategori | Tipik belirti | Düzeltme |
|---|---|---|
| Reasoning errors | Yanlış mantık, hatalı plan, gereksiz adım | Instructions revize (Domain 4.3) |
| Tool misuse | Yanlış parametre, yanlış API, yanlış tool seçimi | Tool izinleri daralt + tool seçimi netleştir |
| Context / environment | Staging ↔ prod farkı, missing secret, network | Env constraint yapılandır + context refresh |
Community pattern (jingchang0623): Reasoning hatası ilk akla gelen ama genelde değil. Tool misuse ve context issue’lar daha sık ve daha tehlikeli.
Logdan teşhis
Bakılacak artifact’lar (Domain 4.2 bullet’ı):
- Workflow run logs
- Agent plan dosyası (varsa)
- Trace (tool çağrı zinciri)
- Output
- Workflow artifact’ları
❌ Geliştirici özel notları — paylaşılmaz, audit-uygun değil.
4. Tuning — kök nedene göre hedefli müdahale
Domain 4.3 üç bullet:
| Kök neden | Hedefli tuning |
|---|---|
| Reasoning error | Custom instructions / system prompt / workflow constraint revize |
| Tool misuse | Tool kullanımını + tool erişimini daralt; gerekirse tool kaldır |
| Context issue | Memory scope’u daralt, environment constraint ayarla |
Trap: Hata reasoning gibi gözüküyor diye direkt modeli değiştirmek. Doğru sıra: log’dan kategori tespit → ilgili tuning kanalını kullan.
Mini quiz — Domain 4 (3 soru)
Sırada ne var?
Domain 5 — Multi-agent koordinasyon. Birden çok agent çalıştırırken isolation, çakışma çözümü, recovery pattern’leri ve lifecycle yönetimi.