OpenAI artık Nvidia dışına çıkıyor. ChatGPT’ye güç sağlamak için Google Cloud üzerinden, Google’ın TPU’larını (Tensor İşlem Birimleri) kiralamaya başladı.Meta’nın da TPU’ları kullanmayı düşündüğü ve Nvidia’ya alternatif olarak test gerçekleştirdiği not ediliyor.
Bu, OpenAI tarafından Nvidia dışı yongaların ilk büyük kullanımı oldu. Daha önce, yapay zeka modelleri, yalnızca Microsoft Azure üzerinden Nvidia GPU’larında çalışıyordu.
OpenAI’ın Google TPU’ları kiralamak istemesinin, maliyetleri kontrol etmek ve riski yaymak için stratejik bir hareket olduğu görülüyor. Metanın da TPU’ları araştırmasına bakarsak, Nvidia’nın baskın kontrolünün ötesine geçen daha heterojen bir yapay zeka donanım piyasası için araştırıldığı anlaşılıyor.
Neden Nvidia Dışı Yonga Kullanılıyor?
TPU’lar, büyük sinir ağları ve çıkarım iş yükleri için optimize edilmiş özel olarak tasarlanmış Yapay zeka hızlandırıcılardır. Genellikle genel amaçlı GPU’lara kıyasla belirli AI görevleri için daha enerji verimli ve uygun maliyetlidirler.
Bu değişimin 3 nedeni ileri sürülüyor;
- Maliyet verimliliği: TPU’ların çıkarımları (yapay zeka modellerini çalıştırarak) Nvidia’nın GPU’larından daha düşük maliyetle ve daha yüksek enerji verimliliğiyle sağladığı bildiriliyor.
- Tedarikçi çeşitliliği: OpenAI, Google TPU’larını kullanarak Nvidia’ya (ve dolaylı olarak Microsoft’a) olan bağımlılığı azaltır, bu da darboğazlardan ve tedarik zinciri risklerinden kaçınmaya yardımcı olur
- Stratejik ortaklıklar: Google ise zaten TPU’ları dışarıya kiralamak, özel yongalarını ticarileştirmek ve yapay zeka donanımında pazar payı kazanmak istiyor.
Buna karşılık, Nvidia GPU’ları esneklik ve ekosistem olgunluğu nedeniyle hala pazarda lider durumunda. TPU’lar belirli senaryolarda tasarruf ve verimlilik sunarak çıkarım ağırlıklı hizmetler için çekici hale getirir.
TPU x NVIDIA GPU: Farklılıklar
TPU’lar, verimli, uygun maliyetli, ancak daha uzmanlaşmış ve Google’a bağlı. Büyük ölçekli çıkarım ve TensorFlow/JAX kullanıcıları için en iyisi. NVIDIA GPU’lar ise endüstri standardı, daha esnek, eğitim , araştırma ve her türlü özel veya karma iş yükleri için daha iyi. Daha detaylı bakalım;
| Google TPU (v4, v5e, v5p) | NVIDIA GPU (A100, H100, B100) | |
|---|---|---|
| Amaç | Özellikle derin öğrenme çıkarımı ve eğitimi açılarından “Yapay zeka” için geliştirildi. | Çok amaçlı, Yapay zeka için optimize edilmiş. |
| Mimari | Tensör işlemleri için özel ASIC | CUDA çekirdekleri + Tensör Çekirdekleri (esnek, programlanabilir) |
| Performans (FLOPs) | TPU v5p: çip başına ~550 TFLOP (BF16) | H100: ~700 TFLOPs (FP8), B100: >1000 TFLOPs (FP8) |
| Memory | TPU v5p: 96 GB HBM2e | H100: 80 GB HBM3, B100: up to 192 GB HBM3e |
| Bağlantı | TPU v5p: Özel ara bağlantı (256 TPU pod’a kadar) | GPU kümeleri için NVLink/NVSwitch |
| Yazılım Ekosistemi | TensorFlow/XLA (sıkı Google entegrasyonu) | CUDA, PyTorch, TensorFlow, JAX – geniş ekosistem |
| Enerji Verimliliği | Yüksek (ASIC matris işlemleri için ayarlı) | Yüksek (özellikle yeni Hopper ve Blackwell mimarisi) |
| Maliyet | Ölçekte çıkarım için daha iyi | Daha pahalı ama çok yönlü |
| Ölçeklenebilirlik | Google Cloud’da (TPU pod’ları) mükemmel | NVIDIA DGX ve superpod sistemlerinde mükemmel |
| Bulunabilirlik | Sadece Google Cloud üzerinden | AWS, Azure, GCP, on-prem erişilebilir |
Kaynak : 