RCA üçlü sınıflandırması — reasoning / tool misuse / context
RCA triad — reasoning / tool misuse / context
Bu derste neler öğreneceksin
- Üç ana kök neden kategorisini ezbere bilmek
- Her kategorinin tipik belirtisini ve düzeltme kanalını eşleştirmek
- Logdan, plandan ve trace'ten kategori tespit etmeyi öğrenmek
- Yanlış kategorilendirmenin getirdiği tuning hatasını anlamak
Domain 4.2 — sınavın her turda tekrar eden bullet’ı. Üçlü sınıflandırma ezbere bilinmeli; yanlış kategorilendirme yanlış tuning kanalına yönlendirir.
Üçlü sınıflandırma (resmi bullet’tan)
Domain 4.2 birebir: “Classify root causes, including reasoning errors, tool misuse, and context or environment issues”.
| Kategori | Ne demek | Tipik belirti | Düzeltme kanalı |
|---|---|---|---|
| Reasoning error | Agent’ın muhakemesi/planı hatalı | Mantıksız adım, gerekli adımı atlama, yanlış sonuç | Instruction revize (Domain 4.3) |
| Tool misuse | Doğru tool, yanlış kullanım (parametre, sıra, idempotency) | Tool çağrı hatası, yanlış parametre, duplicate call | Tool access daralt / tool kuralı netleştir |
| Context/environment | Ortam farkı, eksik secret, env config, network | Staging↔prod farkı, missing env var, timeout | Env constraint yapılandır / context refresh |
Her kategorinin spesifik örnekleri
Reasoning error
| Belirti | Olası kök neden |
|---|---|
| Agent gerekli test step’ini plan’a koymuyor | Instruction’da test zorunluluğu yok |
| Yanlış data structure seçimi | Domain bilgisi yetersiz |
| Edge case’i unutuyor | Failure mode listesi instruction’da yok |
| Plan’da çelişki | Constraint’ler net değil |
| Anlamsız refactor öneriyor | ”Don’t refactor unless asked” kuralı yok |
Tool misuse
| Belirti | Olası kök neden |
|---|---|
gh pr create yerine gh pr xyz | Yanlış komut adı (instruction veya örnek eksik) |
| Aynı POST iki kez (duplicate) | Idempotency-key kullanılmamış |
| Tool çağrı sırası yanlış (auth önce, sonra request) | Tool kullanım pattern’i instruction’da yok |
permissions: write istemeden delete | Tool scope çok geniş, allow list daraltılmamış |
| Yanlış parametre formatı | Tool dokümanı agent’a verilmemiş |
Context/environment
| Belirti | Olası kök neden |
|---|---|
| Staging’de geçer, prod’da fail | Secret/env farkı |
| Local’de geçer, CI’da fail | Runner OS/version farkı |
| İlk attempt fail, ikinci geçer | Network flake, transient state |
| ”Permission denied” | Token scope eksik (env-spesifik) |
| Belli saatlerde fail | Network/rate limit (env constraint) |
Logdan kategori tespiti
| Loglarda gör | Olası kategori |
|---|---|
| ”401 Unauthorized” | Context (token) veya tool misuse (yanlış token) |
| “404 Not Found” | Context (kaynak yok) veya reasoning (yanlış URL) |
| “Connection timeout” | Context (network/env) |
| “Invalid argument” | Tool misuse (parametre) |
| Agent plan’da step atlamış | Reasoning |
| Aynı API’yi 10 kez çağırmış | Tool misuse (loop / idempotency) |
| Staging vs prod farklı output | Context |
Sıra: log → trace → plan → output
RCA için bu sırada bak:
- Actions run logs — adım hangi noktada fail
- Trace (tool çağrı zinciri) — hangi tool, hangi parametre, ne yanıt
- Plan (PR description) — agent ne yapmaya niyetli, niyetle gerçek arasında fark
- Output (commit/PR) — son çıktı niyetle uyumlu mu
Çoğu RCA log + trace ile çözülür. Plan ve output sapmayı doğrular.
Yanlış sınıflandırma → yanlış tuning
| Yanlış teşhis | Yanlış tuning | Sonuç |
|---|---|---|
| Tool misuse’u reasoning sandın | Instruction revize | Hata tekrar — instruction’da yokken |
| Context issue’yu reasoning sandın | Instruction revize | Hata tekrar — env hâlâ farklı |
| Reasoning’i tool misuse sandın | Tool izinleri daralt | Agent yeni reasoning hatası — kısıt arttı |
Sınav “aynı hata 3 kez tekrar, tuning ne?” sorusunda önce kategorilendir, sonra kanal seç.
Düzeltme kanalı kararı (Domain 4.3 köprüsü)
| Kategori | Birinci kanal | İkinci kanal |
|---|---|---|
| Reasoning | Instruction revize | Plan template güncelle |
| Tool misuse | Tool allow list daralt | Tool kullanım örneği instruction’a ekle |
| Context | Env constraint yapılandır | Memory scope ayarla, system of record temizle |
Yargısal: “her hata her zaman tek kategori mi?”
Hayır — bazen kombine. Örnek: agent staging’de doğru çalıştı (reasoning OK), prod’da fail (context — secret eksik), agent panic’leyip yanlış tool çağırdı (tool misuse). RCA’da hangi birinci neden? — context. Düzeltmek context’i, ikincisi kendiliğinden düzelir.
Trap: ilk gördüğün hata mesajına atlama. Sıra önemli — context issue genelde tool misuse’a yol açar; tool misuse reasoning hatasına benzer şekilde sunar.
Mini quiz — RCA üçlüsü (3 soru)
Sırada ne var?
Bir sonraki ve Domain 4’ün son dersi — tuning kararı: hangi kanal, hangi sıra, ne kadar; ve Domain 4.3’ün üç bullet’ı uygulanmış senaryolar.