結合互聯網及大數據應用的網路警察-數據分析師 - 工程師
By Andrew
at 2019-06-07T15:05
at 2019-06-07T15:05
Table of Contents
人物專訪:結合互聯網及大數據應用的網路警察- 專訪新加坡Google數據分析師 Patrick
語音原文請見:
http://shelleyadventure.com/patrick-interview-part1/
你知道網路警察這個工作嗎?本集要專訪的人物是目前在新加坡Google辦公室擔任數據分
析師的香港朋友Patrick,他在台大及倫敦政經學院完成他的大學及碩士學歷後,回到香
港Yahoo工作,幾年前,又轉往新加坡Criteo 及Google工作,一直在互聯網工作的他,今
天要跟我們分享他海外工作的內容及聊聊互聯網的趨勢發展。
網路警察的工作內容
我在Google是一個數據分析師,主要負責網路廣告投放publisher分析.。在Google裡面,
Publisher有分兩種,第一是網頁,第二是App。我就像網路警察一樣,利用大數據來抓一
些不好的App,胡亂投放廣告或者App內容有不恰當的內容卻投放了Google的廣告。
由於市場上有幾百萬的App在投放Google廣告,我們,我們team 必須利用大數據來有效快
速抓高風險的App,然後對違規App進行處分。
大數據的內容很多,比如說使用者行為、App投放廣告行為、應用市場搜尋下載行為、應
用市場搜尋下載行為、用戶對App評論投訴等等多種數據來源,我們數據來源,我們團隊
續建一個有效地模型來偵測出高風險的App。
想要進入big data 領域的建議或要培養的核心能力?
如果要成為一個Data人,不管是叫Data Analyst或Data Scientist. 我覺得要具備三個條
件:
第一是Presentation 能力:
Presentation可能是對Technical Background 或Non-technical Background 的或者是對
外或對內部的差別。當然,共通處就是要學會用最簡單最短的文字來呈現你的分析結果。
對有技術背景或非技術背景的(Non-technical background)
如果是面對非技術背景的人比如說是銷售同事,那報告的內容不需要最直接比如說公司的
產品為客戶的訂單增加百分之幾,減少百分之幾的時間,圖表必須要一目了然,因為大部
分非技術背景的人都不會關注分析的過程跟假設,很多人就會關注分析的結果而已。
而面對技術背景的人做的Presentation,就需要做一個比較完整的報告,包括一開始的
Abstract或者叫summary或者叫TL;DR ,先把結果講出來。然後開始說整個分析的阿桑先把
結果講出來。然後開始說整個分析的Assumption, Limitations , Level of
confidence, Suggestions 和Next step或Action item等。
對外或對內部的團隊
然後對內跟對外Presentation的處理方式又有不一樣。
對外部的話,一般會放大優點,縮小缺點。
你會強調公司為客戶帶來的效益有多大,當解釋麼一方面沒有去做的很好的話,就必須要
用一些數字來做解釋。比如說上個月我們公司為你帶來的訂單減少了30%,你可你會強調
公司為客戶帶來的效益有多大,當解釋麼一方面沒有去做的很好的話,就必須要用一些數
字來做解釋。比如說上個月我們公司為你帶來的訂單減少了30%,你可能使用過往的資料
來證明訂單下降是跟市場季節性的變動有關的。
如果是對內部觀眾的報告,那就需要以中立的手法來呈現。
比如說新的產品為那就需要以中立的手法來呈現,比如說新的產品為公司訂單增加30% 但
盈利卻只增加了5%,那報告必須要點出產品有成效,但整個產品只帶來一些低價值的用戶
,不一定符合效益。
第二條件是Documentation的能力:
網路公司很注重Documention,一方面是知識資訊傳承,另外一方面是data如何有好理解
的呈現方式,因此,這時候若是能夠將資料或數據透過清楚的圖表來呈現,可以更容易幫
助團隊了解了解情況。
第三條件是自我學習能力:
由於網路產業變化很快,因此很重要的是要不斷學習。不管是透過內部學習,或是利用第
三方網路課程像是Udemy等線上課程,都能增進自我的硬知識。我有一位資深同事,更會
定期看學術論文,幫助他找靈感,相當好學。
以上都是我認爲要具備的軟實力,至於Technical Skill: 我會建議目前還在學的大學生
,若是對這一行有興趣,可以去修相關的課程包含以下統計軟體及圖表軟體:
Excel
SQL
Python
R
Tableau
大數據的過去及目前發展趨勢
大數據現在的確是很火熱的話題,一般是處理預測、分類和推薦等需求。前幾年當大家還
在討論Machine Learning 跟AI的時候,其實就是針對用戶的體驗和為用戶創造價值,例
如說要提高搜尋的準確度、推薦跟使用者相關的產品、找出高價值的客戶等等。
但從兩年前開始,特別是美國總統大選時在Facebook上面的假新聞事件,到去年Facebook
和Google 的CEO 分別到國會聽證會,引發廣泛討論用戶隱私安全、資料使用、網路資訊
正確性和安全性的擔憂,這些隱憂會對網路的名譽、企業客戶的品牌安全有一定的影響。
因此,很多網路公司這兩年都大量投資安全與信任(Trust and Safety)這一塊,主要打
擊網路不良和危險訊息、System Gamer和網路違法行為。比如說,電商平台會打擊鑽系統
漏洞以騙運費補貼或推薦新使用者折扣優惠、又或者盗版貨。社交平台打擊色情特別是兒
童色情、假新聞、冒充身份,Email 抓Phishing 郵件,視頻分享平台有版權影平或不當
內容影片、網路金融服務機構也在打擊各重洗黑錢和詐騙行為。
總而言之,很多企業已不只單單以Business/commercial oriented 層面運用ML和AI,現
在更注重Operational 層面上保護客戶和公司的利益與安全。
你在網路公司待了有段時間,可以跟我們分享你的觀察嗎?
有的,我覺得以下兩點是我發現網路人的共性,不管是在Google還是其他網路公司。
第一個是Fast Learning:說到這個,我發現公司的TOP Sales跟一般銷售的差別,Tops
sales 通常非常的好學,他們不單單只是了解商業層面,也會去請教背後的技術原理。尤
其越是成功的業務,通常會不斷精進自己的能力或是知識,才能夠獲得客戶對他們的信任
。另外,他們通常有很強的技術背景,能夠直接提供解答及服務給客戶。
第二個是要主動的(Proactive)找專案來做
在Google 有熟知的Extra mile 或是120% Project,這些都是鼓勵工程師能夠利用自己的
創意去為公司創造更多價值。我覺得在網路業,本身就是要不斷懂的快速學習以及保持主
動的態度,才不會被淘汰。總而言之,很多企業已不只單單以Business/commercial oriented 層面運用ML和AI,現
在更注重Operational 層面上保護客戶和公司的利益與安全。
原文請見:http://shelleyadventure.com/patrick-interview-part1/
--
語音原文請見:
http://shelleyadventure.com/patrick-interview-part1/
你知道網路警察這個工作嗎?本集要專訪的人物是目前在新加坡Google辦公室擔任數據分
析師的香港朋友Patrick,他在台大及倫敦政經學院完成他的大學及碩士學歷後,回到香
港Yahoo工作,幾年前,又轉往新加坡Criteo 及Google工作,一直在互聯網工作的他,今
天要跟我們分享他海外工作的內容及聊聊互聯網的趨勢發展。
網路警察的工作內容
我在Google是一個數據分析師,主要負責網路廣告投放publisher分析.。在Google裡面,
Publisher有分兩種,第一是網頁,第二是App。我就像網路警察一樣,利用大數據來抓一
些不好的App,胡亂投放廣告或者App內容有不恰當的內容卻投放了Google的廣告。
由於市場上有幾百萬的App在投放Google廣告,我們,我們team 必須利用大數據來有效快
速抓高風險的App,然後對違規App進行處分。
大數據的內容很多,比如說使用者行為、App投放廣告行為、應用市場搜尋下載行為、應
用市場搜尋下載行為、用戶對App評論投訴等等多種數據來源,我們數據來源,我們團隊
續建一個有效地模型來偵測出高風險的App。
想要進入big data 領域的建議或要培養的核心能力?
如果要成為一個Data人,不管是叫Data Analyst或Data Scientist. 我覺得要具備三個條
件:
第一是Presentation 能力:
Presentation可能是對Technical Background 或Non-technical Background 的或者是對
外或對內部的差別。當然,共通處就是要學會用最簡單最短的文字來呈現你的分析結果。
對有技術背景或非技術背景的(Non-technical background)
如果是面對非技術背景的人比如說是銷售同事,那報告的內容不需要最直接比如說公司的
產品為客戶的訂單增加百分之幾,減少百分之幾的時間,圖表必須要一目了然,因為大部
分非技術背景的人都不會關注分析的過程跟假設,很多人就會關注分析的結果而已。
而面對技術背景的人做的Presentation,就需要做一個比較完整的報告,包括一開始的
Abstract或者叫summary或者叫TL;DR ,先把結果講出來。然後開始說整個分析的阿桑先把
結果講出來。然後開始說整個分析的Assumption, Limitations , Level of
confidence, Suggestions 和Next step或Action item等。
對外或對內部的團隊
然後對內跟對外Presentation的處理方式又有不一樣。
對外部的話,一般會放大優點,縮小缺點。
你會強調公司為客戶帶來的效益有多大,當解釋麼一方面沒有去做的很好的話,就必須要
用一些數字來做解釋。比如說上個月我們公司為你帶來的訂單減少了30%,你可你會強調
公司為客戶帶來的效益有多大,當解釋麼一方面沒有去做的很好的話,就必須要用一些數
字來做解釋。比如說上個月我們公司為你帶來的訂單減少了30%,你可能使用過往的資料
來證明訂單下降是跟市場季節性的變動有關的。
如果是對內部觀眾的報告,那就需要以中立的手法來呈現。
比如說新的產品為那就需要以中立的手法來呈現,比如說新的產品為公司訂單增加30% 但
盈利卻只增加了5%,那報告必須要點出產品有成效,但整個產品只帶來一些低價值的用戶
,不一定符合效益。
第二條件是Documentation的能力:
網路公司很注重Documention,一方面是知識資訊傳承,另外一方面是data如何有好理解
的呈現方式,因此,這時候若是能夠將資料或數據透過清楚的圖表來呈現,可以更容易幫
助團隊了解了解情況。
第三條件是自我學習能力:
由於網路產業變化很快,因此很重要的是要不斷學習。不管是透過內部學習,或是利用第
三方網路課程像是Udemy等線上課程,都能增進自我的硬知識。我有一位資深同事,更會
定期看學術論文,幫助他找靈感,相當好學。
以上都是我認爲要具備的軟實力,至於Technical Skill: 我會建議目前還在學的大學生
,若是對這一行有興趣,可以去修相關的課程包含以下統計軟體及圖表軟體:
Excel
SQL
Python
R
Tableau
大數據的過去及目前發展趨勢
大數據現在的確是很火熱的話題,一般是處理預測、分類和推薦等需求。前幾年當大家還
在討論Machine Learning 跟AI的時候,其實就是針對用戶的體驗和為用戶創造價值,例
如說要提高搜尋的準確度、推薦跟使用者相關的產品、找出高價值的客戶等等。
但從兩年前開始,特別是美國總統大選時在Facebook上面的假新聞事件,到去年Facebook
和Google 的CEO 分別到國會聽證會,引發廣泛討論用戶隱私安全、資料使用、網路資訊
正確性和安全性的擔憂,這些隱憂會對網路的名譽、企業客戶的品牌安全有一定的影響。
因此,很多網路公司這兩年都大量投資安全與信任(Trust and Safety)這一塊,主要打
擊網路不良和危險訊息、System Gamer和網路違法行為。比如說,電商平台會打擊鑽系統
漏洞以騙運費補貼或推薦新使用者折扣優惠、又或者盗版貨。社交平台打擊色情特別是兒
童色情、假新聞、冒充身份,Email 抓Phishing 郵件,視頻分享平台有版權影平或不當
內容影片、網路金融服務機構也在打擊各重洗黑錢和詐騙行為。
總而言之,很多企業已不只單單以Business/commercial oriented 層面運用ML和AI,現
在更注重Operational 層面上保護客戶和公司的利益與安全。
你在網路公司待了有段時間,可以跟我們分享你的觀察嗎?
有的,我覺得以下兩點是我發現網路人的共性,不管是在Google還是其他網路公司。
第一個是Fast Learning:說到這個,我發現公司的TOP Sales跟一般銷售的差別,Tops
sales 通常非常的好學,他們不單單只是了解商業層面,也會去請教背後的技術原理。尤
其越是成功的業務,通常會不斷精進自己的能力或是知識,才能夠獲得客戶對他們的信任
。另外,他們通常有很強的技術背景,能夠直接提供解答及服務給客戶。
第二個是要主動的(Proactive)找專案來做
在Google 有熟知的Extra mile 或是120% Project,這些都是鼓勵工程師能夠利用自己的
創意去為公司創造更多價值。我覺得在網路業,本身就是要不斷懂的快速學習以及保持主
動的態度,才不會被淘汰。總而言之,很多企業已不只單單以Business/commercial oriented 層面運用ML和AI,現
在更注重Operational 層面上保護客戶和公司的利益與安全。
原文請見:http://shelleyadventure.com/patrick-interview-part1/
--
Tags:
工程師
All Comments
Related Posts
234G_Test_Report_V1.1 by Python
By Belly
at 2019-06-01T09:01
at 2019-06-01T09:01
盟訊實業告我的第二次地檢署開庭實紀
By Faithe
at 2019-05-25T09:50
at 2019-05-25T09:50
Python的使用與教學分享
By Todd Johnson
at 2019-05-18T08:53
at 2019-05-18T08:53
「盟蘇事件」法院第一次開庭後續
By Hazel
at 2019-05-07T18:41
at 2019-05-07T18:41
新研究證實:愛罵髒話智商更高
By Franklin
at 2019-05-06T20:09
at 2019-05-06T20:09