Facebook’un ana şirketi olan Meta, insanların yazdığı kodlardaki hataları ayıklamak ve yeni kod oluşturmak için Llama 2 büyük dil modelinin üzerine inşa edilen Code Llama adlı bir aracı piyasaya sürdüğünü duyurdu.
Meta’ya göre Code Llama, Llama 2’nin koda özgü veri kümelerinden 500 milyar kod belirteci ve kodla ilgili belirteçlerle daha da eğitilmiş Llama 2’nin bir sonraki versiyonudur. Meta, Code Lama’yı eğitmek için daha uzun bir süre boyunca daha fazla kod verisi kullandı.
Meta, Code Llama’yı 7 milyar, 13 milyar ve 34 milyar parametreli üç boyutta yayınladı. Özellikle geniş bağlam penceresi 100.000 jetondur ve bu da modeli aynı anda büyük miktarlarda kodu işlemek açısından özellikle ilgi çekici hale getirir.
Code Llama, Llama 2 ile aynı topluluk lisansını kullanacak ve araştırma ve ticari kullanım için ücretsiz olacak.
Meta, Code Llama’nın istemlerden kod dizileri oluşturabildiğini veya belirli bir kod dizisine işaret edildiğinde kodu tamamlayıp hata ayıklayabildiğini söyledi. Temel Code Llama modeline ek olarak Meta, Code Llama-Python adında Python’a özel bir sürüm ve doğal dildeki talimatları anlayabilen Code Llama-Instrct adlı başka bir sürüm yayınladı. Meta’ya göre, Code Llama’nın her bir sürümü birbirinin yerine kullanılamaz ve şirket, doğal dil talimatları için temel Code Llama’yı veya Code Llama-Python’u önermiyor.
Meta duyurusunda şunları söyledi:
“Programcılar halihazırda yeni yazılım yazmaktan mevcut kodda hata ayıklamaya kadar çeşitli görevlerde yardımcı olmak için yüksek lisans eğitimlerini kullanıyor. Amaç, geliştiricilerin iş akışlarını daha verimli hale getirerek işlerinin en insan odaklı yönlerine odaklanabilmelerini sağlamak.”
Meta, Code Llama’nın kıyaslama testlerine göre halka açık LLM’lerden daha iyi performans gösterdiğini iddia ediyor ancak hangi modellere karşı test edildiğini belirtilmiş değil. Şirket, Code Llama’nın HumanEval kod karşılaştırmasında yüzde 53,7 puan aldığını ve bir metin açıklamasına dayalı olarak kodu doğru bir şekilde yazabildiğini söyledi.
Meta, Code Llama’nın üç boyutunu yayınlayacak ve en küçük boyutunun daha düşük gecikmeli projeler için tek bir GPU’ya sığdığını söyledi.
Kod oluşturucular, bir süredir geliştiricilerin çalışmasına yardımcı oluyor. GitHub , kodu hızlı bir şekilde yazmak ve kontrol etmek için OpenAI’nin GPT-4’ü tarafından desteklenen Copilot’u Mart ayında başlattı. GitHub Copilot ayrıca güncellemek için eski kodu yeniden yazabilyoir. Amazon’un AWS’sinde ayrıca kod yazan, kontrol eden ve güncelleyen CodeWhisperer bulunur. Google’ın da AlphaCode’da bir kod yazma aracı var, ancak bu henüz yayınlanmadı.
Kaynak : 