AI晶片 - 工程師

Edith avatar
By Edith
at 2022-09-18T00:55

Table of Contents

這我來回答吧
AI晶片一般是指用來加速深度學習模型推理的晶片
如果是訓練通常還是利用Gpu 因為生態系比較成熟

那麼深度學習推理時間會耗在哪裡呢
通常就是convolution 或是Gemm
當然convolution 可以透過線性代數幾次的轉換
變成gemm 這也是一門學問
所以矩陣相乘等於是最重要的運算了
你只要能加速這麼簡單的東西
就能號稱你在做AI晶片了
不斷的堆硬體上去 性能就出來了
甚至有些公司走火入魔
連非矩陣運算的指令都做了

因為深度學習的模型越來越大
所以並行去運算矩陣相乘就是很重要的事了
你的硬體並行時 耗電跟降頻做得夠好的話
就能有點能見度了 現在中國的新創沒有一家做到的
所以就有一些人腦袋動到光計算上面
訊號轉成光能計算 算完再轉回電
但這非常的不穩定 基本上也是不可能回收成本

好了 你說這麼簡單的話 那也很容易啊
然而 深度學習在運行過程中 還有一個很大的耗損
就是算子與算子之間的資料傳輸
用硬體加速過後 每個算子的時間大幅縮短
但是彼此之間的memory copy仍然耗損嚴重
於是cache或是local memory變的異常重要
算子與算子之間的fusion做得好
搭配上速度夠快又大的memory基本上也很厲害了
中國那一堆新創耗電降頻不行
現在就往這方向拼命做

那麼AI晶片前景怎麼樣呢
老實說 前景是死路一條
CPU GPU 大公司都在從自家指令來優化模型
或是直接配上特殊資料格式 如tf32 fp8
華為的c4比起來就是個花拳繡腿 還推行不起來

我現在底下50多人就在做未來的方向
從模型優化演算法 記憶體策略 框架
到底層assembly加速 完整的一套方案
如果你有關注一些新的paper
優化到最後 對比常用硬體 AI晶片根本沒有優勢
就像挖礦沒有收益時的礦機一樣
純電子垃圾




※ 引述《QQmickey》之銘言
: 雖然從新聞上看到 三星已經出了 不知道是不是唬爛的
: 自己也是理工背景 但是想問科技版的大大們
: 這是真的嗎?
: 我所學的 覺得不太可能
: 雖然很多事很難講 已知用火
: 諾貝爾物理獎也一堆錯的
: 難道是神學

--

All Comments

Hedwig avatar
By Hedwig
at 2022-09-19T17:29
推！
Lucy avatar
By Lucy
at 2022-09-21T10:04
推
Selena avatar
By Selena
at 2022-09-20T07:27
電子垃圾那幹嗎做??大數據之前就有了
Zora avatar
By Zora
at 2022-09-22T00:01
而且優化到最後ai不是會自算嗎??
Harry avatar
By Harry
at 2022-09-20T07:27
推
David avatar
By David
at 2022-09-22T00:01
疑惑？哪個做AI晶片的不最佳化暫存器不最佳化快取的
Dinah avatar
By Dinah
at 2022-09-20T07:27
請問最近Graphcore的IPU有搞頭嗎？
Kama avatar
By Kama
at 2022-09-22T00:01
老闆請問有缺人嗎?
John avatar
By John
at 2022-09-20T07:27
涼
Hedwig avatar
By Hedwig
at 2022-09-22T00:01
謝謝補充說明
Mary avatar
By Mary
at 2022-09-20T07:27
涼
Ivy avatar
By Ivy
at 2022-09-22T00:01
有缺人嗎(舉手
Elma avatar
By Elma
at 2022-09-20T07:27
說穿了Ai晶片只是GPU的subset
Zanna avatar
By Zanna
at 2022-09-22T00:01
GPU DSP VPU NPU TPU 科科
Quanna avatar
By Quanna
at 2022-09-20T07:27
用asic做不贏gpu cpu based的ai晶片，倒一倒算了
Dorothy avatar
By Dorothy
at 2022-09-22T00:01
BIREN的BR100/BR104 你評價如何?
Hedda avatar
By Hedda
at 2022-09-20T07:27
ASIC做不贏收收會好點 現在問題不是做不贏 是時候還
沒到
Michael avatar
By Michael
at 2022-09-22T00:01
唉，將帥無能累死三軍就是這樣...明明能賺錢的東東
自以為垃圾
Todd Johnson avatar
By Todd Johnson
at 2022-09-20T07:27
推
Connor avatar
By Connor
at 2022-09-22T00:01
大公司都有AI processor 像tpu等 cpu/gpu/tpu很難
互相取代
Belly avatar
By Belly
at 2022-09-20T07:27
同意樓樓上
Sarah avatar
By Sarah
at 2022-09-22T00:01
你自己不行 希望你底下的人能取代你
Frederica avatar
By Frederica
at 2022-09-20T07:27
看不出是真的還是唬爛的 只看的出想被喊"大大你好厲
害"哈
Charlie avatar
By Charlie
at 2022-09-22T00:01
你意思是給你50人，然後你做出垃圾嗎
你哪個部門說一下 我不敢去...
Hardy avatar
By Hardy
at 2022-09-20T07:27
推電子垃圾
Dora avatar
By Dora
at 2022-09-22T00:01
這個人的文章 可信度存疑 給噓
Noah avatar
By Noah
at 2022-09-20T07:27
MIT 韓那個lab看一看抄一抄搭上台積電很難嗎
Quanna avatar
By Quanna
at 2022-09-22T00:01
那個未來的方向早就做好幾年了,一聽就知道你不是那
Candice avatar
By Candice
at 2022-09-20T07:27
方面背景的,只是年資長就被不懂的人資抓去當大頭
Lydia avatar
By Lydia
at 2022-09-22T00:01
呵 好幾年 怎麼減小transformer的sequence說來聽聽
你有top conference嗎
Jessica avatar
By Jessica
at 2022-09-20T07:27
這種優化還要搭配硬體 PTT臥虎藏龍啊 還能早好幾年
做出新硬體並軟硬配合 看來data center cpu gpu
都是台廠天下了 但市佔率好像是0欸
Harry avatar
By Harry
at 2022-09-22T00:01
美國做這類的新創去年才出來 都沒有ptt的厲害 嘴巴
超越加州
Kristin avatar
By Kristin
at 2022-09-20T07:27
推 好心
Lauren avatar
By Lauren
at 2022-09-22T00:01
考慮效能也要考慮功耗和資源，要這樣說影像壓縮用軟
Liam avatar
By Liam
at 2022-09-20T07:27
解，理論上目前廣用硬體也可以超越專用硬體
William avatar
By William
at 2022-09-22T00:01
目前純AI晶片台灣也不是排在前面的，資料中心沒有台
Linda avatar
By Linda
at 2022-09-20T07:27
廠晶片也很正常
Anonymous avatar
By Anonymous
at 2022-09-22T00:01
專用硬體架構輸CPU GPU硬幹 你有沒有想過會不會輸的
是做的那個人
Hedy avatar
By Hedy
at 2022-09-20T07:27
google的gpu要求可是白天運行遠端遊戲 晚上才跑AI
專用硬體做得到嗎 又不是做了AI功能大家就會買單
Olive avatar
By Olive
at 2022-09-22T00:01
當然google不會這樣要求自家的東西 但是晶片公司處
境就是這麼坎坷
Harry avatar
By Harry
at 2022-09-20T07:27
你該不會只知道用CMOS硬幹吧 這樣當然輸大廠
Blanche avatar
By Blanche
at 2022-09-22T00:01
講的都不是同一個東西你也能回
Rebecca avatar
By Rebecca
at 2022-09-20T07:27
會講TOP Conference就知道是外行了,重要東西都公司
Connor avatar
By Connor
at 2022-09-22T00:01
內部自己做誰會去公開重要的東西,再來近年論文品質
Elizabeth avatar
By Elizabeth
at 2022-09-20T07:27
越來越水,不是拿簡單dataset東西做看起來高難任務
Connor avatar
By Connor
at 2022-09-22T00:01
就是隨便接個transformer performance看起數字變好
Hazel avatar
By Hazel
at 2022-09-20T07:27
就行了,講美國新創還來這邊留言不會是在sifive做吧
Kama avatar
By Kama
at 2022-09-22T00:01
觀念不太正確
Callum avatar
By Callum
at 2022-09-20T07:27
噗 nvidia跟微軟都是外行 你們公司最內行
Wallis avatar
By Wallis
at 2022-09-22T00:01
不要講這麼多把你們家MLPerf數據貼上來看阿 呵
Sandy avatar
By Sandy
at 2022-09-20T07:27
呵呵 想釣人？ 我們MLPerf數字蠻多的啦 然後呢 給
你看幹嘛 讓你去歐兔徵友？
Mason avatar
By Mason
at 2022-09-22T00:01
這樣就怕啦XDDD 只說多就是排名不高,敢出來在網路嘴
Freda avatar
By Freda
at 2022-09-20T07:27
一定不是大公司的,八成就是待過大公司跳到小公司
Olga avatar
By Olga
at 2022-09-22T00:01
或竹北中資騙騙錢那種等級的
Franklin avatar
By Franklin
at 2022-09-20T07:27
呵呵 讓你酸又不要緊 我可不想被認出來 比起一個徵
友徵四年的人 我還是蠻注重隱私的
Todd Johnson avatar
By Todd Johnson
at 2022-09-22T00:01
講top conf外行? 不如你先說自己發幾篇吧 不是很水?
Zenobia avatar
By Zenobia
at 2022-09-20T07:27
不公開 整個社群哪會進步? github都是佛心來的?
Yedda avatar
By Yedda
at 2022-09-22T00:01
確實挺佛心的
Jake avatar
By Jake
at 2022-09-20T07:27
先贏得了耐能再來說嘴
Kumar avatar
By Kumar
at 2022-09-22T00:01
口憐喔，還沒退休...
Michael avatar
By Michael
at 2022-09-20T07:27
https://tvm.apache.org/docs/topic/vta/index.html
Caroline avatar
By Caroline
at 2022-09-22T00:01
就連不是做電路端做材料的都知道你講的問題解答在哪
你到底多久沒看文獻...
Lydia avatar
By Lydia
at 2022-09-20T07:27
哇你知道問題解答在哪好厲害 Nvidia的秘密都被你挖
出來了 NV記憶體存取的專利就是這產業最有價值的東
西 你看看文獻就能找到 intel amd的人都不如你呢
想必是個fellow吧
Freda avatar
By Freda
at 2022-09-22T00:01
Raja Mike hong 都解決不掉的問題 你查文獻就能查
到欸 奇才啊
Edward Lewis avatar
By Edward Lewis
at 2022-09-20T07:27
啊不對 連jim keller 這種傳奇人物都沒處理掉這問
題 你一個材料專業的人吊打這些大神喔
Jacky avatar
By Jacky
at 2022-09-22T00:01
連citadel這種頂級投行找了專業的人去研究nv硬體的
行為 最後的分析報告也沒能觸碰到核心 你說看文獻
就可以了 太神了
Cara avatar
By Cara
at 2022-09-20T07:27
我也不看好 XD
Jacob avatar
By Jacob
at 2022-09-22T00:01
他就是之前工作十年 美商主管職哥啊 呵呵
Caroline avatar
By Caroline
at 2022-09-20T07:27
Top conference 都嘛做完 賺完錢去秀肌肉的
Hardy avatar
By Hardy
at 2022-09-22T00:01
現在問題是market 做了要賣誰？ 做了會不會被卡 能
做AI針對某NN專用IC的公司數起來都沒幾家
John avatar
By John
at 2022-09-20T07:27
Special purpose的電路效能會輸general purpose，
聽起來就不合理
Leila avatar
By Leila
at 2022-09-22T00:01
TVM卡了好一陣了 說實話概念好 但很難推
Noah avatar
By Noah
at 2022-09-20T07:27
是啊 但誰會那麼做 那來市場可賣？
Donna avatar
By Donna
at 2022-09-22T00:01
Top conference 硬體相關的一堆都在玩bit … 壓縮
XD 做NN也ㄧ堆搞這個…. 真正做AIC的人都知道這不是
這樣搞啊
Jessica avatar
By Jessica
at 2022-09-20T07:27
推！
Oliver avatar
By Oliver
at 2022-09-22T00:01
誰跟你比電路效能 最後都是整網性能下去看 硬體性
能再強也強不過直接從模型優化
Olga avatar
By Olga
at 2022-09-20T07:27
現在都是ㄧ起做好嗎？ 這也是很多公司搞得不上不下
死在沙灘上的原因

竹科的司機是不是都財務自由了？

Wallis avatar
By Wallis
at 2022-09-17T22:42
常常跟竹科司機閒聊，幾乎每個都跟我說他是開車開身體健康的，沒有一定要常常開太晚不 爽或是累了就是不開。 大多數是中年在廠區做得很不爽或是被逼退離開職場，但是早就財務自由了，現在開車是為 了避免跟社會脫節還有給小孩知道爸爸還有在工作，每個都一口股票經跟產業即時動態。 竹科司機是不是都是臥虎藏龍之人呀？ - ...

offer請益(M/R/S)

Oscar avatar
By Oscar
at 2022-09-17T20:27
各位前輩們好，小弟今年碩畢，有幸拿到幾個offer，想請教各位的意見 背景: 混血四大電機碩 (EE) 1. M公司 職務: 數位IC設計工程師 工作內容: 手機 SoC、platform、影像處理IP 2.R公司 職務: 數位IC驗證工程師 工作內容: TV 驗證 3.S公司 職務: OPC QA 工 ...

美光職缺請問（學士）

Isabella avatar
By Isabella
at 2022-09-17T19:53
想問一下本人成大工科學士（英文還不錯可以口說表達跟溝通） 如果要去應徵美光的話 只有設備工程師有機會嗎？ 還是有其他職缺可以應徵的呢？ 聽說美光有些職缺不用輪班是真的嗎？（還是僅限碩士） https://i.imgur.com/v3HSxB4.jpg - ...

台南易通展

Delia avatar
By Delia
at 2022-09-17T19:34
最近有拿到這間的offer，薪資還在希望可以談更高一點，其他台北的offer年薪大約高這 間3-40萬，但希望可以談到差距20萬左右，月薪是比一般台廠高，但是年薪似乎只有14個 月。其實另外有投智邦和鈺登的職缺似乎都沒回應，所以目前台南只有這個offer。 爬文發現易通展和金智洋、永洋都是關係企業，普遍評價 ...

臻鼎科技

Quanna avatar
By Quanna
at 2022-09-17T19:07
小弟不才，最近拿到臻鼎的口頭offer，雖然正式offer還在跑流程，不過人資主管說基本 上沒什麼問題了，而這職缺聽說是為了路竹新廠開的，在廠房蓋好前要先去桃園觀音受訓 約6個月，小弟我本身是高雄人，對這間公司的內部文化不是很了解，所以想請教各位30c m、G奶先進，是否有這方面的資訊可以分享呢？以及是否有其 ...