統計畢業出路 - 證照

原文吃掉
--
我雖然不是統計系畢業但是研究所跟的老闆是玩統計方法的
在交大也修過高統數統
剛好我最近轉職科技業可以分享一下產學落差

去年我應徵某 IT 部門數據處理實習生職缺
到職後拿到的第二個專案是要分析某產品的 weblog

原始資料約有 150 億筆塞在約四千多萬個純文字檔案裡

15,000,000,000 entries of logs in 40,000,000 log files

總大小約當 5 TB 左右
資料完全是生肉狀態沒有 header 沒有 schema 什麼都沒有

我剛拿到資料的時候都傻了
在學校學的統計軟體哪個可以清理這種規模的資料？
SAS, STATA, SPSS 沒有一個能打的 Excel 那種搞笑的就更不用提
在資料清理的階段你勢必要能夠使用更多工具才能在有限時間內完成任務
這就是為什麼我只好硬著頭皮邊學邊刻 Hadoop, Spark, Mahout
我不知道統計系會不會教這種工具
但是我在學校統計課堂裡還真的沒碰過

當然我不是說統計軟體沒用
完成資料清理之後這些軟體還是有它的價值
但是另一個更現實的問題是
在職場中你老闆不一定願意提供所有你肖想的工具資源

以下場景才是常態：
1.
對我知道 SAS 很好用但是 IBM 的授權金價格夭壽硬
你可不可以用 open source 的東西做一做就好了
2.
Tableu 是很棒看起來很好很強大
但是你不先用別的工具做點成果我們實在沒辦法跟大老闆談資源問題

所以這就是為什麼在業界大家都很推 R, Python
(我比較熟 Python 所以下面用 Python 舉例)
如果 Python 功夫練起來可以很大程度避免掉被工具綁住的窘境
而且經驗累積起來之後你常用的功能的 code 會跟著你走
甚至變成 github 裡面的作品比你有什麼學歷證照都實際
再者你的彈性也會變大
有些統計方法的參數設定藉由自己寫 code 的機會可以更靈活運用
如果以前統計原理沒有學的很好
這也是逼迫自己重新好好理解這些方法、模型的機會

--

所以最後回到原 PO 的問題作總結
我覺得資料相關的職缺在科技業不算很少
關鍵是你要具有不被工具拘束的能力
要能夠不靠昂貴的統計軟體就能對資料施展你所計畫的處理程序
能做到這一點我想求職就會順利很多

至於 Infra 架構、資安機制之類的東西其實跟我們的工作也很有關
如果能遇到有適當 OJT 的公司是最好
不然也要留意自我教育相關知識


--