OpenAI, GPT-6 önbelleği için yaptığı güncellemeyle API isteklerinde tekrar eden bağlamın daha yüksek oranda yeniden kullanılmasını hedefliyor. Şirket ayrıca geliştiricilerin önbellek kullanımını izlemesi, yeniden kullanımın neden gerçekleşmediğini incelemesi ve hangi istem bölümlerinin önbelleğe alınacağını belirlemesi için yeni araçlar duyurdu. Değişiklik, özellikle birbirini izleyen çok sayıda istek gönderen yapay zekâ ajanlarının yanıt süresini ve maliyetini etkileyebilir.
GPT-6 önbelleği nasıl değişti?
Yapay zekâ ajanları, bir görev boyunca aynı talimatları, araç tanımlarını ve önceki konuşma bağlamını birden fazla API isteğinde taşıyabiliyor. OpenAI, bu ortak bölümlerin yeniden kullanılmasını sağlayan sistemin GPT-6 ailesinde daha yüksek önbellek isabet oranı sunduğunu belirtiyor. Şirkete göre uygun ortak istem başlangıçları, 30 dakikalık süre içinde yeniden kullanıldığında önbellek indiriminden yararlanabiliyor.
OpenAI, önbellekten karşılanan giriş token’larında indirimin yüzde 90’a kadar çıkabildiğini söylüyor. Bu üst sınır, her isteğin maliyetinin yüzde 90 azalacağı anlamına gelmiyor; elde edilen sonuç, isteğin ne kadarının önbellekten karşılandığına bağlı.
Geliştiriciler önbellek kayıplarını inceleyebilecek
Yeni Prompt Caching Dashboard, bir uygulamanın giriş verilerinde önbellekten karşılanan bölümün izlenmesini sağlıyor. Geliştiriciler isabet oranının zaman içindeki değişimini ve önbellekten karşılanan token’larla yeniden işlenen token’ların dağılımını görebiliyor.
Tanılama aracı ise beklenmeyen bir önbellek kaybında, yakın tarihli bir yanıtla yeni isteği karşılaştırarak model, araç, ayar veya girdideki hangi değişikliğin yeniden kullanımı engellediğini göstermeyi amaçlıyor. OpenAI, geliştiricilerin istemin yeniden kullanılacak bölümlerini açık önbellek kırılma noktalarıyla seçebileceğini de belirtiyor.
Uzun süre çalışan ajanlar için ne anlama geliyor?
Birden fazla adımda aynı bağlamı taşıyan uygulamalarda önbellek isabetinin artması, daha az giriş token’ının yeniden işlenmesine yardımcı olabilir. OpenAI ayrıca bağlamı önceden önbelleğe hazırlama ve GPT-6 modellerinde belirli koşullarda akıl yürütme düzeyini önbelleği bozmadan değiştirme seçeneklerini açıklıyor. Bunlar geliştiricilerin kullanabileceği kontroller; hız ve maliyet kazanımı uygulamanın istek yapısına göre değişecek.
Güncellemenin kapsamı ve yapılandırma ayrıntıları OpenAI’nin GPT-6 önbelleği duyurusunda ve istem önbelleği kılavuzunda yer alıyor.
