超微推出具192GB記憶體的純GPU之AI晶片MI - 工程師

超微推出具192GB記憶體的純GPU之AI晶片MI300X，搶奪AI市場

https://bit.ly/464WD15

超微（AMD）為了追趕輝達，於2023年6月13日正式向外介紹一款純高性能GPU的AI晶片
MI300X。

前不久，超微推出結合CPU和GPU雙架構的Instinct MI 300進軍AI訓練晶片，這款晶片在
規格和性能直接對準了輝達的Grace Hopper。不過，為了直接瞄準大型語言模型市場，專
為需要所有記憶體容量來運行最大模型的客戶而設計的MI300X不再是混合使用CPU和GPU，
而是用兩顆CDNA 3 GPU小晶片取代了MI300A的三顆CPU小晶片，從而形成了12顆小晶片設
計，包含：8顆GPU小晶片和另外4顆IO記憶體小晶片。

除了純GPU性能之外，超微的MI300X亦提高記憶體容量，讓當前這一代AI大型語言模型（
LLM）能獲得192GB記憶體。由於AI客戶正在以最快的速度搶購GPU和其他加速器，同時需
要更多記憶體來運行更大的模型。因此，超微提供一個使用8個HBM3記憶體通道的192GB
GPU將成為當前市場上的一個相當大的優勢。

其實，AI晶片可以分為雲端、終端和邊緣。根據任務劃分又可以分為訓練晶片和推理晶片
。雲端就是在數據中心進行模型訓練，晶片需要支撐大量的數據運算，終端和邊緣對運算
要求稍弱一些，但卻要求快速回應和低功耗。如今輝達H100晶片霸佔了訓練晶片這一領域
，超微似乎想利用MI300X來爭取更多客戶的支持。

除了192GB MI300X公布之外，超微還簡要宣布了他們所謂的AMD Infinity架構平台。 這
是一種允許最多8顆超微的高階GPU互連在一起以處理更大的工作負載的8-way MI300X設計
。

就如輝達的8-way HGX和英特爾的Ponte Vecchio的x8 UBB那樣，8-way處理器配置目前是
高階伺服器的最佳選擇的架構。

另外值得注意的是，AI開發人員歷來偏愛輝達晶片的一個原因是它有一個名為 CUDA的開
發完善的軟體包，使他們能夠利用晶片的核心硬體功能。超微也推出擁有自己的AI晶片軟
體，稱為ROCm。其希望建構一個強大的軟體堆疊方面取得了真正的巨大進步，讓該軟體堆
疊可與模型、庫、框架和工具的開放生態系統一起使用。

超微認為數據中心之AI加速器市場將從2023年的300億美元左右，以超過50% 的年複合成
長率增長到2027年的1500億美元以上。

雖然超微沒有透露MI300X的價格，但此舉可能會給輝達的GPU帶來價格壓力，畢竟，H100
的價格高達30,000美元或更多，如果超微能夠在性能提升的同時，又給市場更合理的價格
，這有助於降低生成式AI應用程式的高成本，也可為其帶來可觀的市場佔有率。

--