Prompt caching

Bu modül için tahmini süre: 4 dakika

Genel bakış

Prompt caching, önceki request’lerden gelen hesaplama işini yeniden kullanarak Claude’un yanıtlarını hızlandıran ve text generation maliyetini düşüren bir feature’dır. Bu derste cache’in nasıl çalıştığını, faydalarını ve kısıtlarını öğreneceksin.

Prompt caching, önceki request’lerden gelen computational work’ü yeniden kullanarak Claude’un yanıtlarını hızlandıran ve text generation maliyetini azaltan bir feature’dır. Her request’ten sonra tüm processing work’ü atmak yerine, Claude benzer içeriği tekrar gönderdiğinde onu saklayıp yeniden kullanabilir.

Claude request’leri normalde nasıl işler

Prompt caching’i anlamak için, önce caching etkin olmadan tipik bir request sırasında neler olduğuna bakalım.

Claude’a bir mesaj gönderdiğinde, hemen response üretmeye başlamaz. Bunun yerine, Claude input’un üzerinde muazzam miktarda preprocessing iş yapar:

• Prompt’u daha küçük parçalara tokenize eder
• Her token için embedding oluşturur
• Çevreleyen text’e dayalı context ekler
• Ancak bundan sonra gerçek output text’i üretir

Sana response gönderdikten sonra Claude tüm bu computational work’ü atar — tokenization, embedding’ler ve context analizi atılır.

İşi atmanın yarattığı problem

Bu, aynı içeriği içeren follow-up request’ler yaptığında verimsiz hale gelir. Örneğin, Claude’tan aynı uzun text’in özetini revize etmesini istediğin bir conversation’da:

Claude, az önce analiz ettiği içerikte tüm aynı preprocessing işini tekrar yapmak zorunda. Claude şöyle düşünebilir: “Az önce o mesajı işledim ve yaptığım tüm işi attım — onu tekrar kullanabilirdim!”

Prompt caching bunu nasıl çözer

Prompt caching, preprocessing work’ünü atmak yerine kaydederek bu workflow’u değiştirir:

İlk request’i yaptığında Claude her zamanki preprocessing’i yapar, ama sonuçları atmak yerine bir cache’e saklar. Cache, “Bu mesajı bir daha görürsem, yaptığım bu işi yeniden kullanırım” diyen bir lookup table gibi davranır.

Temel faydalar ve kısıtlar

Prompt caching birkaç avantaj sunar:

• Daha hızlı response’lar: Cache’lenmiş içerik kullanan request’ler daha hızlı çalışır
• Daha düşük cost: Request’in cache’lenmiş bölümleri için daha az ödersin
• Otomatik optimizasyon: İlk request cache’e yazar, follow-up request’ler ondan okur

Ancak göz önünde bulundurman gereken önemli kısıtlar vardır:

• Cache süresi: Cache’lenmiş içerik yalnızca bir saat yaşar
• Sınırlı use case’ler: Yalnızca aynı içeriği tekrar tekrar gönderdiğinde faydalıdır
• Yüksek frekans gereksinimi: Aynı içerik request’lerinde aşırı sık tekrarlandığında en etkilidir

Prompt caching, aynı büyük belgeyle ilgili birden fazla soru sorduğun document analysis workflow’ları veya base içeriğin sabit kaldığı ve belirli yönleri iyileştirdiğin iterative editing task’ları gibi senaryolar için en iyi sonucu verir.

Temel çıkarımlar

• Claude her request’te tokenize → embed → context analiz adımlarını yapar; normalde sonuçları atar
• Prompt caching, bu hesaplamayı saklar ve aynı içerik geldiğinde yeniden kullanır
• Faydalar: daha hızlı response, daha düşük cost
• Cache TTL’i 1 saattir; içerik bu süre boyunca canlı kalır
• En çok aynı büyük içerik (belge, system prompt) sık sık tekrar gönderildiğinde değerlidir