※ 引述《csie68 (小春子)》之銘言：
: AI可能會取代"人力"
: 一些基礎的工作 就像現在的電動車
: 但不可能取代"人類"
: 因為沒有電 AI就無法運作 拔掉插頭 它能做甚麼？
: 所以結論
: AI會取代資工人嗎?
: 答案是 不會
: 因為資工系 是人 不是電腦
: 無論AI發展得多好 都無法取代人
: 因為他就不是人 怎麼取代？
: ※ 引述《xa56 (枒)》之銘言：
: : 東西會越來越進步啊
: : 只能說未來只有像設備工程師
: : 這種黑手而且一個當好幾個人用的
: : 才能活下去吧
: : 製程類的都可以靠ai了
: : 只剩改機修機這種雜活暫時沒人可以處理
阿肥外商碼農阿肥啦！
我只能說當前甚至往後十幾年都很難完全取代，除非真正的AGI實現了，那取代的可能不
止資工人，而是整個人類社會了，想想看AGI都有人類智慧了，那鎖螺絲、自己修理自己
或是檢測同類機器人都是很簡單的，那幹嘛還找人類黑手？
先說說像GPT-4即便是大成功的當下，很多企業要復現這樣的模型難度也是跟登天一樣
，整個複雜系統工程是OPENAI在標榜GPT-4可scalable的基礎，這邊說說Meta(Facebook)
其實之前有實現開源的GPT-3，光是訓練重啟就花了整整五十次，其中有各種像顯卡崩潰
、loss跑飛等等，這些都是需要建構好的基礎系統跟對於複雜系統的開發維護才能解決，
不是說很輕鬆的事情。
https://i.imgur.com/pLsUJnR.jpg
這邊在說說這張圖，這是ICLR 2020的一篇Paper，充分說明當前DL的難點，這邊data A跟
data B有一條藍色的部分是local minimum ，而白色星星移動點是模型初始值到鞍點，可
以發現到隨機起始雖然都能始模型到達一定的低點也就是一定的精度，但是內部神經節點
的激活功能卻完全不同，這也充分解釋了為什麼神經網路的解釋性那麼差，而且隨著參數
量越來越複雜，可解釋就成比例下降，最近OpenAI拿GPT-4來解釋神經節點也發現這種現
象，有些神經網路節點看似有對一些抽象概念激活可以解釋，但是有些連人都很難理解他
激活了哪些概念。
而且當數據分佈發生變化，內部不變性也會改變，雖然說最近有一些研究認為現實世界的
結構是共享低複雜高結構化的所以也間接證明爲什麼GPT-4可以處理很多一般性的問題，
但是我們還是發現他對於高複雜度的問題像是數學等依舊是蠻差的，也剛好驗證了這類大
語言模型更偏好kolmogorov複雜度低的預測，而他也確實學習到了其中的歸納偏置。
最後一點，就是當前基本上所有的模型都是基於類貝葉斯歸納原則的，若是要從哲學上探
究勢必要挑戰卡爾波普爾奠定科學非歸納的認知論，否則要模型取代一門科學學科跟研究
都是不可能的，尤其是模型在面對Out of distribution 的問題時當前基於梯度的反向傳
播本質上是無解的，也就是為什麼我之前會說要完全取代資工/工程師很困難，最多是讓
工程師未來不需要一行一行寫code僅需掌握一些抽象概念然後給模型優化方向跟目標來進
行程式撰寫，而且撰寫程式的複雜度也會隨著越抽象門檻越來越高，因為你必須搞懂什麼
樣的優化方向而不是顯式開發。
除非未來真的出現更好的學習算法或是我們真的完全可以復刻大腦，不然真的要離AGI還
差很遠的，也就是LeCun說得當前深度學習還缺少世界模型、Hinton一直想找到能取代反
向傳播跟梯度下降的新的學習算法的原因。但即使是這樣LLM也確實充分展現了他跟人類
完全不同的強大力量，只是他現在甚至未來十年都仍需要依附人類之上。
以上
--
: AI可能會取代"人力"
: 一些基礎的工作 就像現在的電動車
: 但不可能取代"人類"
: 因為沒有電 AI就無法運作 拔掉插頭 它能做甚麼？
: 所以結論
: AI會取代資工人嗎?
: 答案是 不會
: 因為資工系 是人 不是電腦
: 無論AI發展得多好 都無法取代人
: 因為他就不是人 怎麼取代？
: ※ 引述《xa56 (枒)》之銘言：
: : 東西會越來越進步啊
: : 只能說未來只有像設備工程師
: : 這種黑手而且一個當好幾個人用的
: : 才能活下去吧
: : 製程類的都可以靠ai了
: : 只剩改機修機這種雜活暫時沒人可以處理
阿肥外商碼農阿肥啦！
我只能說當前甚至往後十幾年都很難完全取代，除非真正的AGI實現了，那取代的可能不
止資工人，而是整個人類社會了，想想看AGI都有人類智慧了，那鎖螺絲、自己修理自己
或是檢測同類機器人都是很簡單的，那幹嘛還找人類黑手？
先說說像GPT-4即便是大成功的當下，很多企業要復現這樣的模型難度也是跟登天一樣
，整個複雜系統工程是OPENAI在標榜GPT-4可scalable的基礎，這邊說說Meta(Facebook)
其實之前有實現開源的GPT-3，光是訓練重啟就花了整整五十次，其中有各種像顯卡崩潰
、loss跑飛等等，這些都是需要建構好的基礎系統跟對於複雜系統的開發維護才能解決，
不是說很輕鬆的事情。
https://i.imgur.com/pLsUJnR.jpg
這邊在說說這張圖，這是ICLR 2020的一篇Paper，充分說明當前DL的難點，這邊data A跟
data B有一條藍色的部分是local minimum ，而白色星星移動點是模型初始值到鞍點，可
以發現到隨機起始雖然都能始模型到達一定的低點也就是一定的精度，但是內部神經節點
的激活功能卻完全不同，這也充分解釋了為什麼神經網路的解釋性那麼差，而且隨著參數
量越來越複雜，可解釋就成比例下降，最近OpenAI拿GPT-4來解釋神經節點也發現這種現
象，有些神經網路節點看似有對一些抽象概念激活可以解釋，但是有些連人都很難理解他
激活了哪些概念。
而且當數據分佈發生變化，內部不變性也會改變，雖然說最近有一些研究認為現實世界的
結構是共享低複雜高結構化的所以也間接證明爲什麼GPT-4可以處理很多一般性的問題，
但是我們還是發現他對於高複雜度的問題像是數學等依舊是蠻差的，也剛好驗證了這類大
語言模型更偏好kolmogorov複雜度低的預測，而他也確實學習到了其中的歸納偏置。
最後一點，就是當前基本上所有的模型都是基於類貝葉斯歸納原則的，若是要從哲學上探
究勢必要挑戰卡爾波普爾奠定科學非歸納的認知論，否則要模型取代一門科學學科跟研究
都是不可能的，尤其是模型在面對Out of distribution 的問題時當前基於梯度的反向傳
播本質上是無解的，也就是為什麼我之前會說要完全取代資工/工程師很困難，最多是讓
工程師未來不需要一行一行寫code僅需掌握一些抽象概念然後給模型優化方向跟目標來進
行程式撰寫，而且撰寫程式的複雜度也會隨著越抽象門檻越來越高，因為你必須搞懂什麼
樣的優化方向而不是顯式開發。
除非未來真的出現更好的學習算法或是我們真的完全可以復刻大腦，不然真的要離AGI還
差很遠的，也就是LeCun說得當前深度學習還缺少世界模型、Hinton一直想找到能取代反
向傳播跟梯度下降的新的學習算法的原因。但即使是這樣LLM也確實充分展現了他跟人類
完全不同的強大力量，只是他現在甚至未來十年都仍需要依附人類之上。
以上
--
All Comments