有哪些工程師不會被AI取代的嗎? - 工程師

Wallis avatar
By Wallis
at 2023-05-30T18:14

Table of Contents

※ 引述《xross (xross)》之銘言:
: AI 比你想得有料
: Andrej Karpathy 自己都說他自己大部分時間都靠 AI 生 code 了
: https://karpathy.medium.com/software-2-0-a64152b37c35
: 這篇老文章就有說
: 空間時間複雜度?? 可以吃嗎
: Software 2.0 告訴我們
: Constant running time
: Constant memory use
: 內文也提到
: 人類智慧結晶 搞出來的 cache-optimized B-Trees 直接被 AI 幹翻
: (版上臥虎藏龍 手魯industry-ready-B-Tree的高手可以出來嗆一下嗎?)
: "outperforming cache-optimized B-Trees by up to 70% in speed while saving an
: order-of-magnitude in memory."
: 這讓我想到 DLSS 也是藉由 AI/DL 直接做到以前一堆專家搞出來的upscale + AA根本
: 到不了的好效果
: 說了這麼多
: 希望能盡快看到 官方 PTT app
: 目前可能 AI 還在學習怎麼寫


下班前看到就認真回覆一下,

先說你有點搞錯Karpathy所謂的Software 2.0了,Software 2.0也不是什麼很新的概念。

他的概念就是過往我們使用從底層打包上來的Library來顯式開發API為Software 1.0,而
2.0則是只有定義數據集,定義神經網路框架跟訓練,最後將網路編寫成二進制透過工業
化流水線軟體平台部署。

不過有一個很大的前提,「定義搜索空間跟優化方向」,這個神經網路優化方向是需要人
工來定義的,這邊其實前幾年AlphaTensor就有做出實驗,直接透過強化學習去找矩陣乘
法的最佳解,結果確實找到了一組可以應用的比原本最佳矩陣乘法快了20%的解。

定義目標的依舊是電腦科學家/工程師,不是說什麼老闆/PM啊,你去跟老闆/PM講解Low r
ank tensor decomposition ,他只會跟你說聽不懂。

其實Software 2.0就是現在我們在做的深度學習/LLM這件事情,理論上有可能讓一個夠大
的模型來解決一切的問題,讓神經網路包覆整個底層軟體。如果要做一個複雜功能就直接
給兩個Software 2.0模組組合去一起做反向傳播優化,然後就可以去配適到我們的開發任
務上,只是那個結果我們可能很難解釋他(90%的ACC不一定代表能夠fit到所有未知的數據
上)。

如果模型參數量不夠大還是會有No free lunch的問題,所以未來很長一段時間依舊是會
有神經網路搭配顯式編程的方式持續,Karpathy後面也有提出Software 2.0的限制,不是
絕對樂觀看待的。

以上

--

All Comments

James avatar
By James
at 2023-06-02T20:30
Low rank tensor decomposition 工程師可能也不懂
Odelette avatar
By Odelette
at 2023-06-05T22:45
sw2 web3 工業4 5g網路 炒股口號不知何時可以湊滿
Margaret avatar
By Margaret
at 2023-06-09T01:01
難得有認真討論文,而且是正常ML背景的文章
Belly avatar
By Belly
at 2023-06-12T03:17
Zenobia avatar
By Zenobia
at 2023-06-15T05:32
這個矩陣乘法化簡是今年的唄,哪有幾年前那麼久
Sarah avatar
By Sarah
at 2023-06-12T18:22
30年前就被問過這題

TKDN 證書取得經驗

Ina avatar
By Ina
at 2023-05-30T17:44
各位好,公司希望佈局印尼市場,因透過業務與當地代理商溝通感覺遇到重重阻礙,想請教 是否有成功取得TKDN證書的經驗能分享,或是轉介顧問公司? 謝謝! ---- Sent from BePTT on my Samsung SM-S9080 - ...

陽明交大stem課程

Jake avatar
By Jake
at 2023-05-30T16:36
各位大大好,小弟目前學店電機碩班仍在學 中,在網路上碰巧看到陽明交大有開半導體 AI及chatgpt跨領域班課程,加上最近AI議題 很熱門,有點想去上這個課程,不知道對於 未來有無幫助,所以上來詢問大大意見,感 謝 ---- Sent from BePTT on my iPhone XS - ...

同公司內部門怎麼選

Liam avatar
By Liam
at 2023-05-30T16:36
目前有兩個選擇 都是同公司 1. 單一站點PE a. 目前職位 b. 上下班準時 算舒適 c. 老闆重用 d. 但就只是單一站點PE 2. RD (package design) a. 大家都說屎缺 b. 會對到前同事 頗尷尬 c. 流動率不低 d. 但是是RD 往後出去找工作好像比較有利 我也想轉去R ...

從輝達市值即將破1兆美元,暗示著AI時代

Kama avatar
By Kama
at 2023-05-30T12:22
從輝達市值即將破1兆美元,暗示著AI時代真的來臨了? https://bit.ly/3N0jSls 輝達(NVIDIA)在截至2023年4月30日的財報中,實現營收71.9億美元,調整後每股盈餘 1.09美元,均顯著強於市場預期的65.2億美元和0.92美元。更重要的是,其預期第二季營 收將達到110億美 ...

南神教開獎

Jake avatar
By Jake
at 2023-05-30T12:18
今天開獎分兩次領,明明不多也不乾脆點 我先分享,level 7, 7y ,睡前530k - ...