ChatGPT的思維是甚麼? - 工程師

※ 引述《paulcaptain (我不會寫程式)》之銘言：

阿肥外商碼農阿肥啦！

剛好看到這篇文章就回覆一下，這次大型語言模型(LLM)表現出來的是語言模型的湧現能
力，我其實不贊同LeCun說的LLM是歪路，畢竟雖然我們可以直覺知道加大網路連接數可能
是實踐人類大腦的一個重要步驟(畢竟人腦的連結數量跟複雜性在生物醫學上都有驗證)，
但科學上不去驗證你沒辦法證明某些事情的。

我這邊科普一下湧現(Emergent)能力是啥好了，所謂的湧現源自於生物學就是指當生物
系統夠複雜的時候，就會表現出他群集本來不具備的功能，像人類社會就是這樣的。而套
用到LM上就發現到這種狀況普遍存在大型語言模型，像LaMDA、GPT-3、Gopher這些LLM都
表現出跟人類一樣出色的類比、歸納能力甚至更出色，甚至不需要做任何直接訓練很多實
驗中都驗證只要只要夠大，自然就有湧現能力，這也驗證了為啥prompt tuning在LLM上面
才可行，因為你夠大就可以用prompt 刺激他某些激活神經元，出現本來不具備的能力(有
興趣知道prompt tuning可以去看一下chain of thought 那篇論文)。而正經瞎掰有時候
正是人類文明的特色，自然界很多物種其實是不會虛構事實跟類比的。

回到為啥他數學不好的點上，這邊其實蠻多針對chatGPT跟大型LLM的論文或是博客研究都
發現到當前LLM對於歸納推理、因果推論、空間推理都是表現蠻差的，而且大小模型也不
會因為增加參數規模而獲得更好的結果，這正好是由於其實模型現在的理解力是基於橫向
水平的，而數學、因果推論其實是空間物理樹狀的，舉例來說，你做加法或乘法的時候其
實是先去檢索過往有沒有背過相似的模板然後在去想像空間樹狀垂直相乘或相加(我自己
腦袋是比較差的，但是之前討論過大部分跟我智力水平差不多應該都是這樣，也許有人可
以趴一下橫向思考腦袋就出現計算結果，但當前不討論)，這點是當前LLM不具備的，畢竟
當前基於的模型結構都是基於橫向語言優化的，也沒有物理規則的概念，所以也驗證了當
前LLM的侷限性。

至於程式語言為啥chatGPT表現優異我覺得主要還是在於，其實現代的程式語言都是封閉
自洽的，而且說其實我們人類在看程式碼是垂直樹狀佈局的，但其實思維上依然是橫向佈
局，而這種模式是跟LLM天然相似的，所以你要他實作一個功能真的相對單純，不過人類
有空間佈局的概念也看出來為啥LLM還做不到系統級的設計，你只能一個一個把他原子化
成橫向思考再來問他實作功能才是最好的。

其實我更傾向把這次LLM的實驗當作是AI/DL領域對於複雜系統的文藝復興，有了這次的實
驗後該思考的是如何解構大腦思維與神經元之間的關聯，讓機器去真正理解物理世界的規
則、建構樹狀空間的複雜語言模型，坦白說，這只是通用人工智慧(AGI)的一個開端，打
開這個複雜的盒子後才是黑暗大陸的探索。

剩下的因為太過學術的東西就不再這個版上討論了，有興趣未來可以聊，差不多先醬

--