Google Cloud, beşinci nesil TPU’lar ve NVIDIA H100 GPU’ları temel alan A3 sanal makineleri de dahil olmak üzere yapay zeka ile optimize edilmiş altyapısında önemli ilerlemeler kaydettiğini duyurdu. TPU v5e, şirketin yapay zeka çipinin performansını iki katına çıkarıyor
Bilgi işlem sistemlerinin tasarlanması ve inşasına yönelik geleneksel yaklaşımların, üretken yapay zeka ve büyük dil modelleri (LLM’ler) gibi iş yüklerinin artan talepleri için yetersiz olduğu anlaşılıyor. Son beş yılda, LLM’deki parametreler yıllık olarak on kat arttı ve bu da hem uygun maliyetli hem de ölçeklenebilir, yapay zeka ile optimize edilmiş altyapıya olan ihtiyacı ortaya çıkardı.
Google Cloud, üretken yapay zekanın temelini oluşturan dönüştürücü Transformer mimarisinin tasarlanmasından, küresel ölçekte performans için özel olarak tasarlanmış, yapay zeka için optimize edilmiş altyapıya kadar, yapay zeka inovasyonunun ön sıralarında yer aldı.
Cloud TPU v5e, Google Cloud’un en yeni ürünleri. Maliyet verimliliği, çok yönlülüğü ve ölçeklenebilirliğiyle öne çıkan TPU, orta ve büyük ölçekli eğitim ve çıkarımlarda devrim yaratmayı hedefliyor. Bu yineleme, öncülü Cloud TPU v4’ü geride bırakarak LLM ve üretken yapay zeka modelleri için dolar başına 2,5 kata kadar daha yüksek çıkarım performansı ve dolar başına 2 kata kadar daha yüksek eğitim performansı sunuyor.
Google’ın Makine Öğrenimi, Sistemler ve Bulut Yapay Zekasından Sorumlu Başkan Yardımcısı Amin Vahdat şunları söyledi :
“Şimdiye kadar, TPU’ları kullanan eğitim işleri tek bir dilim TPU yongasıyla sınırlıydı; bu da en büyük işlerin boyutunu TPU v4 için maksimum 3.072 yongayla sınırlandırıyordu.”
Bilgi işlem ve makine öğrenimi altyapısından sorumlu başkan yardımcısı Mark Lohmeyer ise, ortak bir blog yazısında şunu söyledi:
“Multislice ile geliştiriciler, iş yüklerini tek bir bölme içindeki çipler arası ara bağlantı (ICI) üzerinden veya bir veri merkezi ağı (DCN) üzerinden birden fazla bölme boyunca on binlerce çipe kadar ölçeklendirebilir.”
Performans, esneklik ve verimlilik arasında bir denge kuran Cloud TPU v5e bölmeleri, 256’ya kadar birbirine bağlı çipi destekler ve 400 Tb/s’yi aşan toplam bant genişliğine ve 100 petaOps INT8 performansına sahiptir. Ayrıca, bir dizi LLM ve üretken yapay zeka modeli boyutuna uyum sağlayan sekiz farklı sanal makine yapılandırmasıyla uyarlanabilirliği ön plana çıkıyor.
Cloud TPU’ların artık Google Kubernetes Engine’de (GKE) kullanıma sunulmasıyla kullanım kolaylığı da artıyor. Bu gelişme, yapay zeka iş yükünün düzenlenmesini ve yönetimini kolaylaştırıyor. Yönetilen hizmetlere eğilimli olanlar için Vertex AI, Cloud TPU VM’leri aracılığıyla çeşitli çerçeveler ve kitaplıklarla eğitim sunuyor.
Google Cloud, JAX, PyTorch ve TensorFlow gibi önde gelen yapay zeka çerçevelerine yönelik desteğini güçlendiriyor.
Ufukta, büyük ölçekli model eğitimi için Cloud TPU v5e desteği ve model/veri paralelliği içeren PyTorch/XLA 2.1 sürümü görünüyor. Dahası, Multislice teknolojisi önizlemeye giriyor; yapay zeka modellerinin kusursuz şekilde ölçeklendirilmesine olanak tanıyor ve fiziksel TPU bölmelerinin sınırlarını aşıyor.
Bu arada, yeni A3 VM’ler NVIDIA’nın H100 Tensor Core GPU’ları tarafından destekleniyor ve zorlu üretken yapay zeka iş yüklerine ve LLM’lere odaklanıyor.
A3 VM’ler olağanüstü eğitim yetenekleri ve ağ bant genişliği sunar. Bunların Google Cloud altyapısıyla birlikte uygulanması, önceki yinelemelerle karşılaştırıldığında 3 kat daha hızlı eğitim ve 10 kat daha fazla ağ bant genişliği elde ederek bir atılımın habercisi oluyor.
Kaynak : 