Bir Amazon.com şirketi olan Amazon Web Services (AWS), Abu Dabi’nin İleri Teknoloji Araştırma Konseyi’nin uygulamalı araştırma ayağı olan Teknoloji İnovasyon Enstitüsü’nün (TII) en iyi performans gösteren, açık kaynak Falcon 40B modelini AWS’te eğittiğini duyurdu. Falcon 40B, Apache 2.0 lisansı altında bulunan ve en iyi performans gösteren modelleri belirlemek için LLM’leri (büyük dil modelleri) birden fazla kriterde izleyen, derecelendiren ve değerlendiren Hugging Face Open LLM Sıralamasında birinci sırada yer alan 40 milyar parametreli bir büyük dil modeli. LLM’ler de dahil olmak üzere makine öğrenimi modellerini geliştirmek, eğitmek, ayarlamak ve barındırmak için tam olarak yönetilen bir hizmet olan Amazon SageMaker’da 1 trilyon belirteç üzerinde eğitildi. Lansman, BAE’nin Ulusal Yapay Zeka Stratejisi 2031 doğrultusunda yapay zeka inovasyonunu ve bilime katkılarını teşvik etme taahhüdünde önemli bir kilometre taşını temsil ediyor.
Müşteriler artık Falcon 40B’yi, önceden eğitilmiş modeller sunan bir makine öğrenimi (ML) merkezi olan Amazon SageMaker JumpStart üzerinden dağıtabiliyor, böylece sıfırdan kendi modellerini oluşturmak zorunda kalmadan Falcon 40B’nin yüksek doğruluk oranına ve sektör lideri performansına erişim sağlayabiliyorlar.
AI Cross Center Unit İcra Direktörü, Baş Yapay Zeka Araştırmacısı ve TII’deki LLM Projeleri Proje Lideri Dr. Ebtesam Almazrouei, yeni bir blog yazısında Falcon 40B hakkında şunları söyledi:
“Dünyanın en üst seviye açık kaynak dil modeli olan Falcon-40B’nin resmi açık kaynak sürümünü gururla duyuruyoruz. Falcon 40B, yalnızca nedensel kod çözücü modeli olarak özel olarak tasarlanmış, 40 milyar parametreye sahip olağanüstü bir açık kaynaklı model. Özel olarak geliştirilmiş, yüksek kaliteli RefinedWeb de dahil olmak üzere 1 trilyon belirteçlerinden oluşan geniş bir veri kümesi üzerinde eğitildi. Modelin Apache 2.0 lisansı altında bulunması erişilebilir ve kullanılabilir olmasını sağlıyor. Falcon-40B’nin mimarisi, FlashAttention ve çoklu sorgu tekniklerini içeren çıkarım için optimize edildi. Falcon-40B’yi açık kaynak bir model olarak piyasaya sürerek, araştırmacılara, girişimcilere ve kuruluşlara onun olağanüstü yeteneklerinden yararlanma ve sağlık hizmetlerinden uzaya, finanstan, gelişmiş üretime ve biyoteknolojiye kadar geniş bir yelpazede yapay zeka odaklı çözümlerdeki ilerlemeleri sürdürme fırsatı sunuyoruz; yapay zeka odaklı çözümler için olanaklar sınırsız.”
Stability AI, AI 21 Labs, Hugging Face ve LG AI, performansı ve maliyeti iyileştirmek amacıyla LLM’lerini oluşturmak, eğitmek ve dağıtmak için AWS’in uçtan uca makine öğrenimi (ML) hizmeti olan Amazon SageMaker’ı kullanıyor. Dr. Almazrouei sözlerini şöyle sürdürdü:
“BAE Ulusal Yapay Zeka Stratejisi 2031 doğrultusunda, BAE’nin Falcon LLM gibi küresel teknolojik gelişmelerde yer alması, bilgiye dayalı bir ekonomiye doğru olan yolculuğumuzda kritik bir bileşen. BAE, yeni ekonomik, sosyal ve eğitim fırsatları yaratmaya yardımcı olacak yapay zeka çözümlerine yatırım yaparak ve geliştirerek kendisini konuya daha aktif bir şekilde dahil etmeyi seçiyor. Bu taahhüdün bir parçası olarak, Falcon LLM’nin açık kaynak piyasaya sürülmesi, BAE’nin iş birliğini desteklemeye, şeffaflığı teşvik etmeye ve yapay zeka alanındaki inovasyon ve araştırmaları desteklemeye olan bağlılığını gösteriyor. Bundan sonra atacağımız adımlar arasında, yeni modellerle yapay zeka ve ileri teknolojiler alanında daha fazla ilerlemeye katkıda bulunmak ve gelişmiş yapay zeka teknolojisinin kuruluşlar ve işletmelerde kullanımı teşvik etmek yer alıyor.”
Yeni nesil LLM’ler
TII, Falcon 40B modelini oluşturmak için tam olarak yönetilen bir hizmet olan Amazon SageMaker’dan faydalandı, bu da ML altyapısını yönetmek yerine özel eğitim mekanizmalarına ve optimizasyonlara odaklanabilmelerini sağladı. TII, eğitim maliyetlerini ve pazara sunma süresini azaltmak için derin öğrenme operatörleriyle eğitim hızını optimize etti. AWS, Sagemaker’ı kullanarak dayanıklılığı artırmak ve eğitim sırasında geliştirici kesintilerini azaltmak için TII ile iş birliği yaptı.
TII, Falcon 40B modelini Mart 2023’te duyurdu ve Mayıs 2023’te Apache 2.0 lisansı altında açık kaynak olarak piyasaya sürdü. Falcon 40B, ince ayar yapmadan birden fazla kıyaslamada çağdaş modellerden daha iyi performans gösterdi. Amazon SageMaker Jumpstart, müşterilerin Falcon 40B’ye erişimini kolaylaştırıyor. Artık her boyuttan ve sektörden müşteri kendi Falcon 40B modellerini hızlı ve kolay bir şekilde dağıtabiliyor ve çeviri, soru yanıtlama, bilgi özetleme veya görüntüleri tanımlama için özelleştirebiliyor.
AWS Orta Doğu ve Afrika Kamu Sektörü Genel Müdürü Wojciech Bajda konuyla ilgili şunları söyledi:
“Teknolojik atılımlar, bilim kalitesi, eğitim hızı ve operasyonel basitlik gibi farklı boyutlardan son teknoloji ürünü olan bir modeli eğitmek için Amazon SageMaker’dan yararlanan Falcon LLM 40B modelinin geliştirilmesi konusunda Teknoloji İnovasyon Enstitüsü ile iş birliği yapmaktan gurur duyuyoruz. Falcon-40B’nin açık kaynak sürümü, kuruluşların onun olağanüstü yeteneklerinden yararlanmalarına ve yeni ilerleme fırsatları yaratmak için yapay zeka odaklı çözümler geliştirmelerine olanak tanıyor.”
Falcon LLM 40B ile dünya çapındaki kuruluşlar, gelişmiş teknoloji yeteneklerine erişebilir ve araştırmacılar yapay zekada inovasyonu yönlendirme imkanına sahip olabilir.
Kaynak : 