OpenAI, Perşembe günü GPT-4’ün kod üretimindeki hatalarını yakalayabilen yeni bir yapay zeka (AI) modeli hakkında bir çalışma yayınladı. AI firması, yeni sohbet botunun “reinforcement learning from human feedback” (RLHF) çerçevesi kullanılarak eğitildiğini ve GPT-4 modellerinden biri tarafından desteklendiğini belirtti. Henüz geliştirilmekte olan sohbet botu, kullanıcıların büyük dil modellerinden elde ettikleri yapay zeka tarafından üretilen kodun kalitesini artırmak için tasarlandı. Model şu anda kullanıcıların ya da test uzmanlarının kullanımına açık değil. OpenAI ayrıca modelin çeşitli sınırlamalarının da altını çizdi.
OpenAI CriticGPT Hakkında Detayları Paylaştı
Yeni CriticGPT modelinin ayrıntılarını bir blog yazısında paylaşan AI firması, modelin GPT-4’e dayandığını ve ChatGPT tarafından üretilen koddaki hataları tespit etmek için tasarlandığını belirtti. Şirket, “İnsanlar ChatGPT kodunu gözden geçirmek için CriticGPT’den yardım aldıklarında, yardım almayanlardan yüzde 60 daha iyi performans gösterdiklerini gördük” diyor. Model RLHF çerçevesi kullanılarak geliştirildi ve bulgular bir makalede yayınlandı.
RLHF, AI sistemlerini eğitmek için makine çıktısını insanlarla birleştiren bir makine öğrenme tekniğidir. Böyle bir sistemde, insan değerlendiriciler yapay zekanın performansına geri bildirim sağlıyor. Bu, modelin davranışını ayarlamak ve iyileştirmek için kullanılıyor. AI’ a geri bildirim sağlayan insanlara AI trainer deniyor.
CriticGPT, hatalar içeren büyük hacimli bir kod verisi üzerinde eğitilmiş. AI modeli bu hataları bulmak ve kodu eleştirmekle görevlendirildi. Bunun için, AI eğitmenlerinden koddaki hataları doğal olarak ortaya çıkan hataların üzerine yazmaları ve ardından bu hataları fark etmiş gibi örnek geri bildirimler yazmaları istendi.
CriticGPT yaptığı eleştirinin çoklu varyasyonlarını paylaştığında, eğitmenlerden ekledikleri hataların AI tarafından doğal olarak ortaya çıkan hatalarla birlikte yakalanıp yakalanmadığını tespit etmeleri istendi. OpenAI, yaptığı araştırmada CriticGPT’nin hataları yakalamada ChatGPT’den yüzde 63 daha iyi performans gösterdiğini tespit etti.
Ancak, modelin hala bazı sınırlamaları var. CriticGPT, OpenAI tarafından oluşturulan kısa kod dizileri üzerinde eğitilmiş. Model henüz uzun ve karmaşık görev setleri üzerinde eğitilmemiş durumda. Yapay zeka firması ayrıca yeni sohbet botunun halüsinasyon görmeye (yanlış cevaplar üretmeye) devam ettiğini tespit etti. Ayrıca model, kodda birden fazla hatanın bulunduğu senaryolarda test edilmemiş.
OpenAI’nin daha kaliteli çıktılar üretebilecek eğitim tekniklerini daha iyi anlamasına yardımcı olmak için tasarlandığından, bu modelin kamuya açıklanması pek olası değil. Eğer CriticGPT halka açılırsa, ChatGPT’ye entegre edileceği düşünülüyor.
