大數據是在找什麼工作? - 工程師

大數據單位通常有三種缺

1.資料分析師
2.系統工程師
3.雜役

以常見應用的交通為例
悠遊卡的資料分析師會試圖從每天各鐵公路 Youbike 運輸的刷卡資料中
找出各個時段交通方向的熱點、人流、集散轉運點
然後提出報告跟建議，當政府要調整公車路線、Youbike設站點、規劃自行車道
甚至是否要蓋捷運時就會運用這些大數據整理出來的資料

系統工程師則負責建置平台儲存這些資料，若是離線的比較簡單
只需要按照系統分析師的需求，規劃 DB schema 然後輸入資料
在線的還要考慮資料進來的負載平衡
其他包括資料的備份、存取資料的效率改善、可靠度的改善
(一千筆資料漏掉一筆跟漏掉十筆那系統分析的結果就會有所差距)

雜役
我敢說在座的各位........都是樂勝 這個職缺
寫程式去撈每家提供的資料格式再轉成系統工程師規劃的格式輸入
寫程式輸出資料分析師要的數據項目整理後的內容甚至繪製圖表做報告
可能有四、五個雜役去負責寫從悠遊卡、一卡通、愛金卡、有錢卡撈來的資料
再有三、四個雜役去寫資料分析程師要撈的資料項目
比如公車轉捷運的、捷運轉公車的、火車轉捷運的、Youbike 轉捷運的 .....

這些大數據可以分析什麼呢?

比如三峽人只能搭公車轉捷運，平均交通時間花了一個小時才到目的地
但是樹林人可以搭火車轉公車或捷運，平均交通時間只花了40分鐘就到目的地
然後樹林人使用火車的比例相較公車轉捷運維持在一定的數字量
那麼三峽就比較需要先蓋三鶯線，樹林的捷運則可以暫緩

基隆使用國道客運轉捷運的比率遠高於使用火車，基隆人比樹林多但火車搭乘率低
火車在基隆的服務品質不及樹林，所以基隆要蓋基隆輕軌

不過通常這些數據都會迎合聖意去做出來就是了
因此跟政府有關的資料分析師的重點在於怎麼做出一份有說服力的報告
民間的才會是專業導向，像是為市場調查做出實際的數據分析
像是軟體產業非常仰賴大數據的回傳資料決定下一版的介面調整
什麼按鈕拿掉、什麼功能改到什麼位置都是使用者點擊習慣分析出來的
只要老闆不一意孤行 (某窗戶八代把開始弄不見....) 都是很有用的

--