AI晶片 - 工程師

Elizabeth avatar
By Elizabeth
at 2022-09-18T10:46

Table of Contents


現在業界單純說AI晶片是太籠統的說法了,
為了獲得最高效能與最高CP值,
業界把AI晶片細分成以下幾類,
1. Training 訓練:
這是目前業界最難做的部分,
目前只有Nvidia 跟 Google TPU 有量產並且是大規模用在資料中心,
基本上Training 需要用到的算力是Inference 的百倍到百萬倍以上,
這塊主要是用大量的資料來訓練出最佳深度學習模型

2. Inference 推理:
這塊是目前大部分的公司與新創公司最想要做的部分,
畢竟算力要求比Training低很多,
但是需求的量卻是Training的百萬倍以上,
這塊也是你我大部分人每天在接觸的AI晶片,
主要是拿已有深度學習模型來套用即時資料得到即時結果,
比方說手機裡頭的AI晶片: Google tensor, Huawei NPU 等,
監視器(尤其中國出產的)裏頭的即時人臉辨識, 天網系統,
自駕車裡頭的即時自駕運算晶片,
另一種說法,就是 edge computing,

當然Inference 推理不完全等於 edge computing,
因為很多資料中心還是會用Inference 推理晶片來做Training/Inference,
但是edge computing就一定是Inference,

然後ㄋ,這又可以因為演算法與應用的不同,
而又更細分不同應用的AI晶片,
目前最成熟也是最精準的就是影像應用的AI晶片,
精准度可到99.x%,
這也是中國最大力推動的部分,
例子就是我前面說的人臉辨識, 天網系統, 自駕車, 手機等,
目前你看到中國甚至是大部分的新創公司,都是做這塊,
中國甚至在一些地方可以得到更高的效能跟更精準的結果

但是還是有非常多不同的應用與需求,
比方說自然語言處理,
包含文字或是語音的處理,
這塊目前的發展就相對不理想,
不論是效能或是精準度都不理想,
不信你去玩一下一堆線上語音幫助系統,你就知道我說的,
但是這塊需求很大,
想想看接客服電話的工作就是個例子,
還有更多的應用,像是Ptt灌水機器人,
臉書發言省查系統等,
目前這塊只有Nvidia Google TPU兩家有晶片

然後還有一些非常特殊也相對冷門的AI晶片,
像是 youtube argos chip
https://9to5google.com/2021/04/22/youtube-google-custom-chip/
Smart NIC 等...


※ 引述《sheepmanager (AI專家)》之銘言:
: 這我來回答吧
: AI晶片一般是指用來加速深度學習模型推理的晶片
: 如果是訓練通常還是利用Gpu 因為生態系比較成熟
: 那麼深度學習推理時間會耗在哪裡呢
: 通常就是convolution 或是Gemm
: 當然convolution 可以透過線性代數幾次的轉換
: 變成gemm 這也是一門學問
: 所以矩陣相乘等於是最重要的運算了
: 你只要能加速這麼簡單的東西
: 就能號稱你在做AI晶片了
: 不斷的堆硬體上去 性能就出來了
: 甚至有些公司走火入魔
: 連非矩陣運算的指令都做了
: 因為深度學習的模型越來越大
: 所以並行去運算矩陣相乘就是很重要的事了
: 你的硬體並行時 耗電跟降頻做得夠好的話
: 就能有點能見度了 現在中國的新創沒有一家做到的
: 所以就有一些人腦袋動到光計算上面
: 訊號轉成光能計算 算完再轉回電
: 但這非常的不穩定 基本上也是不可能回收成本
: 好了 你說這麼簡單的話 那也很容易啊
: 然而 深度學習在運行過程中 還有一個很大的耗損
: 就是算子與算子之間的資料傳輸
: 用硬體加速過後 每個算子的時間大幅縮短
: 但是彼此之間的memory copy仍然耗損嚴重
: 於是cache或是local memory變的異常重要
: 算子與算子之間的fusion做得好
: 搭配上速度夠快又大的memory基本上也很厲害了
: 中國那一堆新創耗電降頻不行
: 現在就往這方向拼命做
: 那麼AI晶片前景怎麼樣呢
: 老實說 前景是死路一條
: CPU GPU 大公司都在從自家指令來優化模型
: 或是直接配上特殊資料格式 如tf32 fp8
: 華為的c4比起來就是個花拳繡腿 還推行不起來
: 我現在底下50多人就在做未來的方向
: 從模型優化演算法 記憶體策略 框架
: 到底層assembly加速 完整的一套方案
: 如果你有關注一些新的paper
: 優化到最後 對比常用硬體 AI晶片根本沒有優勢
: 就像挖礦沒有收益時的礦機一樣
: 純電子垃圾
: ※ 引述《QQmickey》之銘言
: : 雖然從新聞上看到 三星已經出了 不知道是不是唬爛的
: : 自己也是理工背景 但是想問科技版的大大們
: : 這是真的嗎?
: : 我所學的 覺得不太可能
: : 雖然很多事很難講 已知用火
: : 諾貝爾物理獎也一堆錯的
: : 難道是神學

--

All Comments

Zenobia avatar
By Zenobia
at 2022-09-19T00:05
Smart Nic 也算?
Yedda avatar
By Yedda
at 2022-09-19T13:24
這篇才符合現況啦,現在CPU和GPU是要和NPU/APU拼什
麼…
Margaret avatar
By Margaret
at 2022-09-20T02:42
中國為了影像辨識AI晶片還去特刻監視器專用的sensor
Jacob avatar
By Jacob
at 2022-09-20T16:01
ARMv9有一些為了AI的Extension ARM也想吃edge這塊
Olive avatar
By Olive
at 2022-09-20T09:44
Intel也有AI啊(Nervana/Habana)但爛到美國不禁運
Isabella avatar
By Isabella
at 2022-09-20T23:03
中國就更多了,燧源/商湯/寒武紀都有投片,效能就..
Skylar Davis avatar
By Skylar Davis
at 2022-09-20T09:44
推分享
Anonymous avatar
By Anonymous
at 2022-09-20T23:03
只不過中國掌權者真的很變態,徹徹底底的監控人民
Joseph avatar
By Joseph
at 2022-09-20T09:44
這些影像辨識系統有一大部分拿去維穩
Charlie avatar
By Charlie
at 2022-09-20T23:03
這篇比較正確
Heather avatar
By Heather
at 2022-09-20T09:44
有大大知道AI晶片的需求量跟價大概是怎樣的概念嗎
例如跟CPU或GPU 車用包的話
Eden avatar
By Eden
at 2022-09-20T23:03
不就邊緣運算 類CPU的東西啊 不過有特化而已
Eden avatar
By Eden
at 2022-09-20T09:44
那有誰知道 Tenstorrent 這家如何
Rebecca avatar
By Rebecca
at 2022-09-20T23:03
Lauren avatar
By Lauren
at 2022-09-20T09:44
感覺跟CPU差很多吧, 比較像systolic array
Una avatar
By Una
at 2022-09-20T23:03
現在拚DSU比較有賺頭啦
Zenobia avatar
By Zenobia
at 2022-09-20T09:44
主要你演算法進步 資料進步 沒有ㄧ定能有賺頭的東西
IC很難下去的
Xanthe avatar
By Xanthe
at 2022-09-20T23:03

中國逾三千家芯片公司倒閉 IC產量暴跌

Doris avatar
By Doris
at 2022-09-18T10:05
https://www.epochtimes.com/b5/22/9/17/n13827065.htm 中國逾三千家芯片公司倒閉 IC產量暴跌 https://imgur.com/juSOFVr 2021年3月,江蘇省南通市一家半導體公司的員工在工廠生產芯片。(STR/AFP) 【大紀元2022年09月 ...

AI晶片

Aaliyah avatar
By Aaliyah
at 2022-09-18T00:55
這我來回答吧 AI晶片一般是指用來加速深度學習模型推理的晶片 如果是訓練通常還是利用Gpu 因為生態系比較成熟 那麼深度學習推理時間會耗在哪裡呢 通常就是convolution 或是Gemm 當然convolution 可以透過線性代數幾次的轉換 變成gemm 這也是一門學問 所以矩陣相乘等於是最重要的運算 ...

竹科的司機是不是都財務自由了?

Ida avatar
By Ida
at 2022-09-17T22:42
常常跟竹科司機閒聊,幾乎每個都跟我說他是開車開身體健康的,沒有一定要常常開太晚不 爽或是累了就是不開。 大多數是中年在廠區做得很不爽或是被逼退離開職場,但是早就財務自由了,現在開車是為 了避免跟社會脫節還有給小孩知道爸爸還有在工作,每個都一口股票經跟產業即時動態。 竹科司機是不是都是臥虎藏龍之人呀? - ...

offer請益(M/R/S)

Oscar avatar
By Oscar
at 2022-09-17T20:27
各位前輩們好,小弟今年碩畢,有幸拿到幾個offer,想請教各位的意見 背景: 混血四大電機碩 (EE) 1. M公司 職務: 數位IC設計工程師 工作內容: 手機 SoC、platform、影像處理IP 2.R公司 職務: 數位IC驗證工程師 工作內容: TV 驗證 3.S公司 職務: OPC QA 工 ...

美光職缺請問(學士)

Isabella avatar
By Isabella
at 2022-09-17T19:53
想問一下本人成大工科學士(英文還不錯可以口說表達跟溝通) 如果要去應徵美光的話 只有設備工程師有機會嗎? 還是有其他職缺可以應徵的呢? 聽說美光有些職缺不用輪班是真的嗎?(還是僅限碩士) https://i.imgur.com/v3HSxB4.jpg - ...