AI晶片廠盼FP8格式標準化 - 工程師

Kyle avatar
By Kyle
at 2022-07-13T11:54

Table of Contents

AI晶片廠盼FP8格式標準化

https://bit.ly/3z1uhWX

2022年3月,輝達(NVIDIA)推出了第一款基於全新Hopper架構的GPU—GH100,其目標市
場是高效能運算(HPC)和AI工作負載。對AI工作負載更重要的是,GH100支持8位元浮點
處理格式(FP8)。兩個月後,競爭對手英特爾也推出了採用FP8格式的第二代AI訓練晶片
Gaudi2。

FP8格式之所以重要的原因有很多,其中最重要的是,AI推理之間存在一種分裂,在整數
格式(通常為INT8,但有時為INT4)以低精確度完成,在AI訓練以FP16、FP32或FP64精確
度完成,在HPC以FP32或FP64精確度完成。輝達和英特爾都認為FP8不僅可以用於推理,在
某些情況下還可以用於AI訓練,從而從根本上提高加速器的有效吞吐量。

這真的很重要,因為在浮點和整數格式之間來回切換是一件令人頭疼的事情,如果能讓所
有內容都停留在浮點中變得容易很多。此外,在未來的某個時候,如果推理轉移到8位FP8
甚至可能是4位FP4格式,這意味著致力於整數處理器的有價值晶片資產可以被釋放並用於
其他用途。

2022年6月,Graphcore研究發展低精確度浮點格式卓越性能,以及其能降低AI訓練中功耗
的長期好處。低精確度數字格式可能是大型機器學習模型的關鍵組成部分,其不僅提供了
最先進的準確性,同時減少了對環境的影響。特別是,通過使用FP8算術之能量效率比起
FP16提高多達4倍,比FP32提高多達16倍。

如今Graphcore正在鼓吹IEEE針對AI設計採用FP8格式,並成為所有廠商都可以使用的標準


超微和高通也支持Graphcore的計劃,高通認為FP8格式,不僅可為推理和運算提供了顯著
的性能和效率提升,還可以幫助降低雲端和邊緣之訓練和推理成本。超微預計將在即將推
出的Instinct MI300A APU中支持FP8格式。至於SambaNova、Cerebras和Groq等AI晶片製
造商也將因為這一趨勢而受益。

換言之,FP8可讓AI產業有機會接受“AI-native”標準,以及跨系統的推理和訓練互操作
性。在 IEEE正式製定標準之前,Graphcore將向業內其他人提供其規範。

總之,隨著深度學習應用程式複雜性的不斷增加,機器學習系統的可擴展性也變得不可或
缺,大型分散式模型的訓練帶來了許多挑戰。在這種情況下,使用有效的FP8數位格式至
關重要,因為在處理器之間交換資料時,它可以提高運算效率和通訊效率,進而提高功率
效率。

--

All Comments

Ophelia avatar
By Ophelia
at 2022-07-13T21:44
哭啊 可以不要再提新規格了嗎
Mary avatar
By Mary
at 2022-07-14T07:34
支持,浮點轉int8毛一堆
Ivy avatar
By Ivy
at 2022-07-14T17:25
標準化是好事
不然每間都不同規格 搞死人
Andy avatar
By Andy
at 2022-07-14T17:07
哭啊 快失業ㄌ
Audriana avatar
By Audriana
at 2022-07-15T02:57
專業推

台積電又被美國員工吐槽! 「把我們當中

Necoo avatar
By Necoo
at 2022-07-13T10:58
水土一定不合的 台GG能擴廠的地點就只有東亞、中國、 這地方的人素質跟配合度才有可能承受GG這種文化 美國、法國、英國這種崇尚自由民主的地方,是不可能配合這種文化的 這也是為什麼先進的技術都是來自美國、英國、法國等先進國家 先進國家才有思考的餘力,把尖端的技術呈現出來 台GG是一個代工廠,是需要緊 ...

馬斯克不買推特 舊金山科技商圈變數多

Edwina avatar
By Edwina
at 2022-07-13T10:38
馬斯克不買推特 舊金山科技商圈變數多 https://www.cna.com.tw/news/aopl/202207130020.aspx (中央社記者周世惠舊金山12日專電)遠端工作的選項在疫情期間曾帶動一波人才出走舊 金山。世界首富馬斯克(Elon Musk)上週終止440億美元推特購買案,對舊金山的 ...

英特爾攜手系微、台北大學 培養台灣UEFI

Kristin avatar
By Kristin
at 2022-07-13T08:34
英特爾攜手系微、台北大學 培養台灣UEFI韌體人才 英特爾於今(12)日宣布,攜手系微(6231)、台北大學,開設並已完成首期統一可延伸韌 體介面(UEFI)韌體開發人才培訓課程,這項培訓課程由系微負責課程規劃與教材內容,英 特爾提供搭載Intel Core處理器的硬體平台,於台北大學首次推出,幫助大 ...

經濟學人示警 晶片業榮景陷超大型破滅

Caroline avatar
By Caroline
at 2022-07-13T06:59
作者: aaaaa66666 (五A五六) 看板: Stock 標題: [新聞] 經濟學人示警 晶片業榮景陷超大型破滅 時間: Tue Jul 12 08:53:56 2022 原文標題: 經濟學人示警 晶片業榮景陷超大型破滅 原文連結: https://udn.com/news/story/7240 ...

關於GG的職場霸凌

Damian avatar
By Damian
at 2022-07-13T01:54
話說我去google台積自殺,或者員工想不開等等,幾乎沒看到新聞欸,而且台積就算是舊廠,一天進入台積的廠商,好歹也有百人 還包含了長期駐廠台積的,結果我去google 只有五六年前,因為感情在廁所自殺的女性 還有在機台自殺的外包商 除次之外近幾年,除了看到交通事故的,幾乎都沒有,裡面還有人說在o棟跳下去 ...