有哪些工程師不會被AI取代的嗎? - 工程師
By Wallis
at 2023-05-30T18:14
at 2023-05-30T18:14
Table of Contents
※ 引述《xross (xross)》之銘言:
: AI 比你想得有料
: Andrej Karpathy 自己都說他自己大部分時間都靠 AI 生 code 了
: https://karpathy.medium.com/software-2-0-a64152b37c35
: 這篇老文章就有說
: 空間時間複雜度?? 可以吃嗎
: Software 2.0 告訴我們
: Constant running time
: Constant memory use
: 內文也提到
: 人類智慧結晶 搞出來的 cache-optimized B-Trees 直接被 AI 幹翻
: (版上臥虎藏龍 手魯industry-ready-B-Tree的高手可以出來嗆一下嗎?)
: "outperforming cache-optimized B-Trees by up to 70% in speed while saving an
: order-of-magnitude in memory."
: 這讓我想到 DLSS 也是藉由 AI/DL 直接做到以前一堆專家搞出來的upscale + AA根本
: 到不了的好效果
: 說了這麼多
: 希望能盡快看到 官方 PTT app
: 目前可能 AI 還在學習怎麼寫
下班前看到就認真回覆一下,
先說你有點搞錯Karpathy所謂的Software 2.0了,Software 2.0也不是什麼很新的概念。
他的概念就是過往我們使用從底層打包上來的Library來顯式開發API為Software 1.0,而
2.0則是只有定義數據集,定義神經網路框架跟訓練,最後將網路編寫成二進制透過工業
化流水線軟體平台部署。
不過有一個很大的前提,「定義搜索空間跟優化方向」,這個神經網路優化方向是需要人
工來定義的,這邊其實前幾年AlphaTensor就有做出實驗,直接透過強化學習去找矩陣乘
法的最佳解,結果確實找到了一組可以應用的比原本最佳矩陣乘法快了20%的解。
定義目標的依舊是電腦科學家/工程師,不是說什麼老闆/PM啊,你去跟老闆/PM講解Low r
ank tensor decomposition ,他只會跟你說聽不懂。
其實Software 2.0就是現在我們在做的深度學習/LLM這件事情,理論上有可能讓一個夠大
的模型來解決一切的問題,讓神經網路包覆整個底層軟體。如果要做一個複雜功能就直接
給兩個Software 2.0模組組合去一起做反向傳播優化,然後就可以去配適到我們的開發任
務上,只是那個結果我們可能很難解釋他(90%的ACC不一定代表能夠fit到所有未知的數據
上)。
如果模型參數量不夠大還是會有No free lunch的問題,所以未來很長一段時間依舊是會
有神經網路搭配顯式編程的方式持續,Karpathy後面也有提出Software 2.0的限制,不是
絕對樂觀看待的。
以上
--
: AI 比你想得有料
: Andrej Karpathy 自己都說他自己大部分時間都靠 AI 生 code 了
: https://karpathy.medium.com/software-2-0-a64152b37c35
: 這篇老文章就有說
: 空間時間複雜度?? 可以吃嗎
: Software 2.0 告訴我們
: Constant running time
: Constant memory use
: 內文也提到
: 人類智慧結晶 搞出來的 cache-optimized B-Trees 直接被 AI 幹翻
: (版上臥虎藏龍 手魯industry-ready-B-Tree的高手可以出來嗆一下嗎?)
: "outperforming cache-optimized B-Trees by up to 70% in speed while saving an
: order-of-magnitude in memory."
: 這讓我想到 DLSS 也是藉由 AI/DL 直接做到以前一堆專家搞出來的upscale + AA根本
: 到不了的好效果
: 說了這麼多
: 希望能盡快看到 官方 PTT app
: 目前可能 AI 還在學習怎麼寫
下班前看到就認真回覆一下,
先說你有點搞錯Karpathy所謂的Software 2.0了,Software 2.0也不是什麼很新的概念。
他的概念就是過往我們使用從底層打包上來的Library來顯式開發API為Software 1.0,而
2.0則是只有定義數據集,定義神經網路框架跟訓練,最後將網路編寫成二進制透過工業
化流水線軟體平台部署。
不過有一個很大的前提,「定義搜索空間跟優化方向」,這個神經網路優化方向是需要人
工來定義的,這邊其實前幾年AlphaTensor就有做出實驗,直接透過強化學習去找矩陣乘
法的最佳解,結果確實找到了一組可以應用的比原本最佳矩陣乘法快了20%的解。
定義目標的依舊是電腦科學家/工程師,不是說什麼老闆/PM啊,你去跟老闆/PM講解Low r
ank tensor decomposition ,他只會跟你說聽不懂。
其實Software 2.0就是現在我們在做的深度學習/LLM這件事情,理論上有可能讓一個夠大
的模型來解決一切的問題,讓神經網路包覆整個底層軟體。如果要做一個複雜功能就直接
給兩個Software 2.0模組組合去一起做反向傳播優化,然後就可以去配適到我們的開發任
務上,只是那個結果我們可能很難解釋他(90%的ACC不一定代表能夠fit到所有未知的數據
上)。
如果模型參數量不夠大還是會有No free lunch的問題,所以未來很長一段時間依舊是會
有神經網路搭配顯式編程的方式持續,Karpathy後面也有提出Software 2.0的限制,不是
絕對樂觀看待的。
以上
--
Tags:
工程師
All Comments
By James
at 2023-06-02T20:30
at 2023-06-02T20:30
By Odelette
at 2023-06-05T22:45
at 2023-06-05T22:45
By Margaret
at 2023-06-09T01:01
at 2023-06-09T01:01
By Belly
at 2023-06-12T03:17
at 2023-06-12T03:17
By Zenobia
at 2023-06-15T05:32
at 2023-06-15T05:32
By Sarah
at 2023-06-12T18:22
at 2023-06-12T18:22
Related Posts
TKDN 證書取得經驗
By Ina
at 2023-05-30T17:44
at 2023-05-30T17:44
陽明交大stem課程
By Jake
at 2023-05-30T16:36
at 2023-05-30T16:36
同公司內部門怎麼選
By Liam
at 2023-05-30T16:36
at 2023-05-30T16:36
從輝達市值即將破1兆美元,暗示著AI時代
By Kama
at 2023-05-30T12:22
at 2023-05-30T12:22
南神教開獎
By Jake
at 2023-05-30T12:18
at 2023-05-30T12:18