英特爾:GPU已過時,Nvidia的人工智慧之 - 工程師
By Oliver
at 2017-04-10T11:37
at 2017-04-10T11:37
Table of Contents
英特爾:GPU已過時,Nvidia的人工智慧之路會越來越難
剛剛上任的英特爾人工智慧事業部(AIPG)首席技術長 Amir Khosrowshahi 表示,目前
所使用 GPU 等級太低了,半導體產業需要構建全新的神經網路架構。
在出任這個新職位之前,Khosrowshahi 是 Nervana System(下簡稱 Nervana) 的聯合
創始人兼首席技術長,Nervana 於 2016 年 8 月被英特爾收購,但並未對外披露具體的
收購金額。Nervana 利用最先進的技術來使用 GPU,而且還自行研發替代了標準的
Nvidia 組合語言程式,從而讓 Nervana 能夠生成「次優」的架構體系。在英特爾大力
部署人工智慧戰略的大背景下,該公司所能提供的技術迅速成為了發展的核心力量。
Khosrowshahi 本週四向 ZDNet 透露:「早在 Nervana 成立之初我們就著手研發自己的
組合語言程式,當時只是為了我們自己的研發需求,不過後來我們發現它要比 Nvidia 官
方的庫存快兩到三倍,所以我們就將其開源了。」
Nervana 並不僅僅在軟體方面發力,而且還創建了自己的目標向神經網路訓練。
他說道:「神經網路是預先設定好操作的系列整合。它並不像人類和系統之間的互動,而
是被描述為數據流的系列指令集。」
Khosrowshahi 表示,在執行圖形渲染過程中輔助圖形處理單元的部分功能是沒有必要的
,比如大容量暫存、頂點著色處理、 渲染和紋理等。他表示:「GPU 中的大部分電路在
部署機器學習之後是沒有必要的… 這些東西會隨著時間的推移而不斷積累,最終產生了
非常多無用的東西。」
他進一步解釋:「對你來說並不需要的電路,在 GPU 晶片中不僅佔據了很大一片空間,
而且從能源利用率上考慮也產生了相當高的成本。神經網路則相當簡單,利用小巧的矩陣
乘法和非線性就能直接創建半導體來實現 GPU 的功能,而且你所創建的半導體非常忠誠
於神經網路架構,顯然這是 GPU 所無法給予的。」在設計思路上,CPU 有複雜的控制邏
輯和諸多最佳化電路,相比之下計算能力只是 CPU 很小的一部分;而 GPU 採用了數量眾
多的計算單元和超長的流水線,但只有非常簡單的控制邏輯並省去了快取,因而在需要大
量計算的機器學習方面表現更好,而 TPU 則是專為機器學習的矩陣乘法設計和優化,因
而在機器學習方面比 GPU 更勝一籌。
Khosrowshahi 給出的答案:就是目前尚在開發中的 Lake Crest,這是英特爾今年會針對
部分客戶提供離散加速器。但伴隨著時間的推移,它將會成為 Xeon 處理器的最佳夥伴。
Khosrowshahi 解釋:「這是一個張量(tensor)處理器,能夠處理帶矩陣運算的指令。
因此指令集是矩陣 1 和矩陣 2 的相乘,不僅透過查詢表運行而且這些大型的指令都是高
級別的。」
「GPU 主要依靠一個個寄存器(Register),當訪問(或者跳轉到)某個寄存器,所執行
的是元素和元素之間的相乘,這個級別是相當的低了。」
Khosrowshahi 表示,最近幾年 Nvidia 已經努力讓他們的 GPU 對神經網路更加友善,但
是他們的 AI 晶片依然承擔了大量圖形功能。他表示:「如果只是依靠自己來推動晶片方
面的改進,我認為未來 Nvidia 的進化將會變得越來越困難。」
與之對應的,英特爾則通過收購的方式來推進人工智慧。
Khosrowshahi 說:「晶片產業的挑戰是即將迎來顛覆性的全新架構:而現在英特爾所做
的事情就是將其收入麾下。他們想要獲得 FPGAs(現場可程式邏輯門陣列),所以他們收
購了 Altera。這真的是一個非常酷炫非常神經網路的架構。」
此外 Khosrowshahi 還糾正了很多人對神經網路的錯誤想法,他表示並不是將神經網路蝕
刻到半導體上,大部分的功能依然通過軟體方面來形成。
他說道:「神經網路大部分都體現在軟體方面。所以即使是 Lake Crest,指令並不是『
神經網路,執行這項任務』,而是透過矩陣和矩陣的相乘。晶片外層部分就是一些我們所
熟知的神經網路,在經過培訓之後能夠根據用戶需求來執行各種任務或者搜尋某種參數,
當你擁有神經網路之後你就能做任何可以完成的事情。」
英特爾的其中一個人工智慧架構將會對抗 Google 的定制 TPU。在 4 月 5 日搜尋龍頭
Google 表示, TPU 的平均運轉速度要比標準的 GPU/CPU 組合(比如 Intel 的
Haswell 處理器和 Nvidia 的 K80 GPU)快 15~30 倍。在數據中心計算功耗時,TPU 還
提供 30-80 倍的 TeraOps/瓦特(如果未來使用更快的儲存裝置,這一數字可能還會提高
)。
同樣在今年 4 月 5 日,IBM 和 Nvidia 還宣布 Big Blue 在今年 5 月開始向特斯拉
P100S 提供 IBM Cloud 服務。
http://technews.tw/2017/04/10/intel-nvidia-is-going-hard-in-future/
--
剛剛上任的英特爾人工智慧事業部(AIPG)首席技術長 Amir Khosrowshahi 表示,目前
所使用 GPU 等級太低了,半導體產業需要構建全新的神經網路架構。
在出任這個新職位之前,Khosrowshahi 是 Nervana System(下簡稱 Nervana) 的聯合
創始人兼首席技術長,Nervana 於 2016 年 8 月被英特爾收購,但並未對外披露具體的
收購金額。Nervana 利用最先進的技術來使用 GPU,而且還自行研發替代了標準的
Nvidia 組合語言程式,從而讓 Nervana 能夠生成「次優」的架構體系。在英特爾大力
部署人工智慧戰略的大背景下,該公司所能提供的技術迅速成為了發展的核心力量。
Khosrowshahi 本週四向 ZDNet 透露:「早在 Nervana 成立之初我們就著手研發自己的
組合語言程式,當時只是為了我們自己的研發需求,不過後來我們發現它要比 Nvidia 官
方的庫存快兩到三倍,所以我們就將其開源了。」
Nervana 並不僅僅在軟體方面發力,而且還創建了自己的目標向神經網路訓練。
他說道:「神經網路是預先設定好操作的系列整合。它並不像人類和系統之間的互動,而
是被描述為數據流的系列指令集。」
Khosrowshahi 表示,在執行圖形渲染過程中輔助圖形處理單元的部分功能是沒有必要的
,比如大容量暫存、頂點著色處理、 渲染和紋理等。他表示:「GPU 中的大部分電路在
部署機器學習之後是沒有必要的… 這些東西會隨著時間的推移而不斷積累,最終產生了
非常多無用的東西。」
他進一步解釋:「對你來說並不需要的電路,在 GPU 晶片中不僅佔據了很大一片空間,
而且從能源利用率上考慮也產生了相當高的成本。神經網路則相當簡單,利用小巧的矩陣
乘法和非線性就能直接創建半導體來實現 GPU 的功能,而且你所創建的半導體非常忠誠
於神經網路架構,顯然這是 GPU 所無法給予的。」在設計思路上,CPU 有複雜的控制邏
輯和諸多最佳化電路,相比之下計算能力只是 CPU 很小的一部分;而 GPU 採用了數量眾
多的計算單元和超長的流水線,但只有非常簡單的控制邏輯並省去了快取,因而在需要大
量計算的機器學習方面表現更好,而 TPU 則是專為機器學習的矩陣乘法設計和優化,因
而在機器學習方面比 GPU 更勝一籌。
Khosrowshahi 給出的答案:就是目前尚在開發中的 Lake Crest,這是英特爾今年會針對
部分客戶提供離散加速器。但伴隨著時間的推移,它將會成為 Xeon 處理器的最佳夥伴。
Khosrowshahi 解釋:「這是一個張量(tensor)處理器,能夠處理帶矩陣運算的指令。
因此指令集是矩陣 1 和矩陣 2 的相乘,不僅透過查詢表運行而且這些大型的指令都是高
級別的。」
「GPU 主要依靠一個個寄存器(Register),當訪問(或者跳轉到)某個寄存器,所執行
的是元素和元素之間的相乘,這個級別是相當的低了。」
Khosrowshahi 表示,最近幾年 Nvidia 已經努力讓他們的 GPU 對神經網路更加友善,但
是他們的 AI 晶片依然承擔了大量圖形功能。他表示:「如果只是依靠自己來推動晶片方
面的改進,我認為未來 Nvidia 的進化將會變得越來越困難。」
與之對應的,英特爾則通過收購的方式來推進人工智慧。
Khosrowshahi 說:「晶片產業的挑戰是即將迎來顛覆性的全新架構:而現在英特爾所做
的事情就是將其收入麾下。他們想要獲得 FPGAs(現場可程式邏輯門陣列),所以他們收
購了 Altera。這真的是一個非常酷炫非常神經網路的架構。」
此外 Khosrowshahi 還糾正了很多人對神經網路的錯誤想法,他表示並不是將神經網路蝕
刻到半導體上,大部分的功能依然通過軟體方面來形成。
他說道:「神經網路大部分都體現在軟體方面。所以即使是 Lake Crest,指令並不是『
神經網路,執行這項任務』,而是透過矩陣和矩陣的相乘。晶片外層部分就是一些我們所
熟知的神經網路,在經過培訓之後能夠根據用戶需求來執行各種任務或者搜尋某種參數,
當你擁有神經網路之後你就能做任何可以完成的事情。」
英特爾的其中一個人工智慧架構將會對抗 Google 的定制 TPU。在 4 月 5 日搜尋龍頭
Google 表示, TPU 的平均運轉速度要比標準的 GPU/CPU 組合(比如 Intel 的
Haswell 處理器和 Nvidia 的 K80 GPU)快 15~30 倍。在數據中心計算功耗時,TPU 還
提供 30-80 倍的 TeraOps/瓦特(如果未來使用更快的儲存裝置,這一數字可能還會提高
)。
同樣在今年 4 月 5 日,IBM 和 Nvidia 還宣布 Big Blue 在今年 5 月開始向特斯拉
P100S 提供 IBM Cloud 服務。
http://technews.tw/2017/04/10/intel-nvidia-is-going-hard-in-future/
--
Tags:
工程師
All Comments
By Margaret
at 2017-04-11T17:47
at 2017-04-11T17:47
By Ethan
at 2017-04-12T18:01
at 2017-04-12T18:01
By Jacky
at 2017-04-15T20:18
at 2017-04-15T20:18
By Rae
at 2017-04-17T03:52
at 2017-04-17T03:52
By Delia
at 2017-04-20T09:56
at 2017-04-20T09:56
By Robert
at 2017-04-22T06:58
at 2017-04-22T06:58
By Adele
at 2017-04-24T21:42
at 2017-04-24T21:42
By Dorothy
at 2017-04-26T21:32
at 2017-04-26T21:32
By Heather
at 2017-04-30T13:16
at 2017-04-30T13:16
By Aaliyah
at 2017-05-02T17:08
at 2017-05-02T17:08
By Brianna
at 2017-05-05T11:48
at 2017-05-05T11:48
By Hardy
at 2017-05-09T05:07
at 2017-05-09T05:07
By Kumar
at 2017-05-10T05:15
at 2017-05-10T05:15
By Olivia
at 2017-05-15T00:30
at 2017-05-15T00:30
By Daniel
at 2017-05-19T17:47
at 2017-05-19T17:47
By Megan
at 2017-05-21T23:14
at 2017-05-21T23:14
By Charlotte
at 2017-05-26T07:00
at 2017-05-26T07:00
By Hardy
at 2017-05-30T11:02
at 2017-05-30T11:02
By Lucy
at 2017-05-31T02:06
at 2017-05-31T02:06
By Brianna
at 2017-05-31T10:49
at 2017-05-31T10:49
Related Posts
MTK的研發能力
By Zora
at 2017-04-10T04:45
at 2017-04-10T04:45
台積RD工程師
By Oscar
at 2017-04-10T01:10
at 2017-04-10T01:10
台積電本月開始生產蘋果A11處理器,第2季達到最高6萬
By Rachel
at 2017-04-09T21:29
at 2017-04-09T21:29
美商蕎鑫 品保工程師&RD製程/樣品工程師
By Liam
at 2017-04-09T21:25
at 2017-04-09T21:25
稅金疑問
By Delia
at 2017-04-09T19:46
at 2017-04-09T19:46