Retrieval Augmented Generation'a giriş

Bu modül için tahmini süre: 6 dakika

Genel bakış

Retrieval Augmented Generation (RAG), tek bir prompt’a sığmayacak kadar büyük belgelerle çalışmanı sağlayan bir tekniktir. Her şeyi devasa bir prompt’a tıkıştırmak yerine, RAG belgeleri chunk’lara böler ve soruları yanıtlarken yalnızca en alakalı parçaları prompt’a dahil eder. Bu derste sorunun ne olduğunu, RAG’in nasıl çözüm sunduğunu ve hangi durumlarda mantıklı olduğunu göreceksin.

Retrieval Augmented Generation (RAG), tek bir prompt’a sığmayacak kadar büyük belgelerle çalışmana yardım eden bir tekniktir. Her şeyi devasa bir prompt’a sığdırmak yerine, RAG belgeleri chunk’lara böler ve soruları cevaplarken yalnızca en alakalı parçaları içerir.

Büyük belgelerle ilgili sorun

800 sayfalık bir finansal belgen olduğunu ve Claude’a bu belge hakkında “Bu şirketin hangi risk faktörleri var?” gibi belirli sorular sormak istediğini düşün. Belgedeki alakalı bilgiyi bir şekilde Claude’a iletmen gerekiyor, ama bir prompt’a ne kadar metin ekleyebileceğinin sınırları var.

Seçenek 1: Her şeyi prompt’a koymak

İlk yaklaşım basittir — belgenin tüm metnini çıkarıp kullanıcının sorusuyla birlikte prompt’a sıkıştırırsın. Prompt’un şuna benzer:

Answer the user's question about the financial document.

<user_question>
{user_question}
</user_question>

<financial_document>
{financial_document}
</financial_document>

Bu yaklaşımın ciddi kısıtları vardır:

• Prompt uzunluğunda kesin bir limit vardır — belgen çok uzun olabilir
• Claude çok uzun prompt’larda daha az etkili hale gelir
• Daha büyük prompt’lar daha pahalıya işlenir
• Daha büyük prompt’lar daha yavaş işlenir

Seçenek 2: Belgeleri chunk’lara bölmek

RAG daha akıllı bir yaklaşım benimser. Önce, bir preprocessing adımında belgeyi daha küçük chunk’lara bölersin. Sonra, bir kullanıcı soru sorduğunda sorusuyla en alakalı chunk’ları bulur ve yalnızca onları prompt’una eklersin.

Çalışma şekli şöyle: birisi “Bu şirket hangi risklerle karşı karşıya?” diye sorarsa, chunk’larında arama yapar, “Risk Factors” bölümünü bulur ve yalnızca o alakalı chunk’ı prompt’una eklersin.

RAG’in faydaları

• Claude yalnızca en alakalı içeriğe odaklanabilir
• Çok büyük belgelere ölçeklenir
• Birden fazla belgeyle çalışır
• Daha küçük prompt’lar daha ucuza mal olur ve daha hızlı çalışır

RAG’in zorlukları

• Belgeleri chunk’lamak için bir preprocessing adımı gerektirir
• “Alakalı” chunk’ları bulmak için bir search mekanizması gerekir
• Dahil edilen chunk’lar Claude’un ihtiyacı olan tüm context’i içermeyebilir
• Metni chunk’lamanın birçok yolu vardır — hangi yaklaşım en iyisi?

Örneğin, belgeleri eşit boyutlu parçalara bölebilir veya header’lar ve bölümler gibi belge yapısına dayalı chunk’lar oluşturabilirsin. Her yaklaşımın kendi use case’in için değerlendirmen gereken trade-off’ları vardır.

RAG ne zaman kullanılır?

RAG birçok teknik karar içerir ve her şeyi prompt’a dahil etmekten daha fazla iş gerektirir. Kendi uygulamana özgü olarak faydaların karmaşıklığa değip değmediğini analiz etmen gerekir. Özellikle çok büyük belgeler, çoklu belgeler veya cost ve performance’ı optimize etmen gerektiğinde değerlidir.

Anahtar fikir şudur: RAG, ölçeklenebilirlik ve verim karşılığında basitlikten vazgeçer. Düzgün uygulanması için daha fazla ön çalışma gerektirse de, basit prompt stuffing ile başa çıkması imkânsız olan belge koleksiyonlarıyla çalışmana imkân tanır.

Temel çıkarımlar

• RAG, büyük belgeleri chunk’lara bölüp yalnızca alakalı parçaları prompt’a eklemeye dayanan bir tekniktir
• Tüm belgeyi prompt’a sığdırma yaklaşımı uzunluk, cost ve quality açısından sınırlıdır
• Doğru chunk’lama stratejisi ve bir search mekanizması RAG’in iki kritik bileşenidir
• RAG karmaşıklık karşılığında ölçeklenebilirlik ve verim getirir; her use case için doğru tercih olmayabilir
• Çok büyük veya çoklu belgelerde, cost ve performance kritikse RAG değerlidir