Apple, yapay zeka (AI) modellerinin performans hızını artırmak amacıyla Nvidia ile iş birliği yapıyor. Şirket, Nvidia platformunda yapılan bu çalışma sayesinde hem verimlilik hem de gecikmeyi aynı anda iyileştirmeyi hedefliyor. Bu amaçla, Apple’ın daha önce yayınladığı Recurrent Drafter (ReDrafter) adlı teknik, Nvidia TensorRT-LLM çerçevesiyle birleştirildi.
AI Modellerinde Hız ve Verimlilikte Büyük Adım
Apple, blog yazısında Nvidia ile yapılan iş birliği sayesinde, büyük dil modellerinde (LLM) “inference” sürecinin daha verimli hale getirildiğini belirtti. Inference, bir yapay zeka modelinin verilen girdileri işleyip anlamlı sonuçlara dönüştürdüğü süreçtir. ReDrafter, bu süreçte veri çözümleme hızını %3,5 artırmayı başardı.
Ancak, hızdaki iyileşmeyi daha ileriye taşımak için Apple, Nvidia’nın TensorRT-LLM çerçevesine entegre oldu. Bu entegrasyon sayesinde, “greedy decoding” ile token oluşturma hızında 2.7 kat artış elde edildi.
Apple, bu teknolojinin yapay zeka işlemlerindeki gecikmeyi azaltırken daha az GPU ve enerji tüketimi sağlayacağını vurguladı. Bu iş birliği, yapay zeka modellerinde verimlilik ve hızın bir arada geliştirilebileceğini kanıtlıyor.
