我的背景
目前角色
歐洲資料公司 Engineering Lead
工作重點
資料工程、雲端架構、資料治理
教學工作
緯育 TibaMe/資策會講師與課程顧問
專業認證
Google Cloud 專業資料工程師與雲端架構師
學歷
國立中央大學數學系
資料工程年資
約 7 年,橫跨新創與企業
NTU DAC · CAREER FIELD NOTES
意外走進資料工程,後來走到 Data Architect
開場,約 2 分鐘。今天不會從工具清單開始,也不需要大家現在就決定職稱。我會先講自己的路徑,再把這段經驗放回資料工作的全貌裡。
一開始我也不知道自己會走到 Data Engineering,更不可能預先安排好每一步。很多選擇,都是遇到資料量、失敗、部署、權限與溝通問題後,才慢慢看懂自己適合解什麼問題。
01 自我介紹 · NOW
現任歐洲資料顧問公司的 Engineering Lead。我的工作常從一句很模糊的需求開始,最後要變成一個跑得動、有人維護、成本也付得起的系統。
客戶說:「我們需要即時資料平台。」
我會先把幾個基本問題問清楚:
我通常先問四件事:誰會用、要多快、怎麼驗證、出錯誰負責。
這張約 4 分鐘。不要念職稱。用「一句需求怎麼被拆開」讓大家知道 Engineering Lead 的工作同時包含技術判斷、協作與交付,不會只停在管理或寫一條更大的 Pipeline。
顧問情境常需要在不完整資訊下先建立假設,再用問題、資料與小型驗證把假設修正。技術能力很重要;如果無法說明取捨,方案就很難落地。
01 自我介紹
從數學與問題拆解,走到資料平台與架構。
歐洲資料公司 Engineering Lead
資料工程、雲端架構、資料治理
緯育 TibaMe/資策會講師與課程顧問
Google Cloud 專業資料工程師與雲端架構師
國立中央大學數學系
約 7 年,橫跨新創與企業
Engineering Lead|資料工程、雲端架構
資料湖倉、資料治理
資料模型、資料架構
分散式 ETL、Spark
Hadoop 大數據解決方案
資料管線監控
國立中央大學
這張約 5 分鐘。先讓大家知道我現在的角色、工作焦點、教學背景與學經歷,再用右側過往經歷讓大家看見這些能力是怎麼一路累積。
職涯路徑不要講成升職階梯,而是問題範圍逐步變大:從問題拆解、資料處理、資料流程與上線交付,走到平台架構與技術決策。詳細的五階段個人故事與心路轉折先留在後段職涯章慢慢聊,這裡先帶大家看懂工作全貌,轉入下一章的資料價值鏈。
02 / VALUE CHAIN
一筆資料從事件產生,經過來源系統與資料平台,最後用來分析或支援決策。
中間任何一段出了問題,最後的結果就可能不值得相信。
這一段先建立共同底圖。資料職位變重要,是因為企業開始把資料當成持續運作的基礎設施,也需要有人把一次性的整理工作變成穩定流程。
02 資料價值產業鏈
DA、DS、DE 都在同一條資料路徑上工作。畫面上的數字只是最後一站,前面每個環節都可能改變它。
交易、點擊、設備、客服、業務流程
DB、API、Log、第三方服務與人工輸入
擷取、轉換、儲存、建模、品質與治理
指標、實驗、預測、分群與推論
產品、營運、行銷、風控與管理
讓資料按預期出現;出錯時有人知道、找得到,也修得回來。
把資料整理成能回答問題的指標、比較和證據;圖表只是最後的呈現方式。
把資料做得更快、更穩,讓人敢拿來做決策;平台長什麼樣只是其中一小部分。
這張約 5 分鐘。先帶大家從左到右看完整條資料路徑:一個 dashboard 上的數字,不是從畫面上突然出現,而是從真實世界的事件開始,經過來源系統、資料平台,最後才進到分析與決策。
再補充各段工作的差異:資料工程在中間承擔的是把來源的混亂整理成下游可依賴的介面;分析與模型則把資料整理成能回答問題的指標、比較和證據。這兩種工作不是分開的兩條路,而是在同一條路徑上接力。
最後收在下方三個價值:公司真正需要的不是某一個特定平台,而是把資料做得更快、更穩,讓人敢拿來做決策。可以問大家:如果你看見一個 dashboard,會想往左追問哪一段?
02 為什麼是現在?
資料一旦進入營運,錯一次就不只是報表錯;庫存、行銷、風控與客戶服務都可能跟著錯。
流程不是跑完一次就結束。半夜斷掉、隔天才發現,報表、推薦或營運數字就會一起延遲。
不同團隊各自計算營收或活躍用戶,大家都能交報表,卻沒有人能說明哪個才是基準。
查詢變慢、回補變久、雲端費用上升。問題不再只是能不能算,而是能不能穩定地算下去。
模型可以很快給答案,但來源過期、欄位定義不一致,回答再順也可能是錯的。
資料職位變多,是因為資料已經從分析素材,變成會影響營運的系統。
這張約 5 分鐘。這頁不是要說「資料變多,所以需要資料工程師」這麼簡單。真正的變化是:資料開始進入每天的營運流程,一次錯誤會沿著下游傳出去。
可以依序講四個痛點:流程需要每天穩定跑;不同部門對同一個指標有不同定義;資料量放大後,速度、回補與成本都變成工程問題;AI 讓答案產生得更快,也讓錯誤定義與過期資料更快被放大。
收尾時強調:資料職位增加,不是因為工具名稱變多,而是資料已經會影響庫存、行銷、風控與客戶服務。
03 / ROLE MAP
DA 把資料轉成洞察,DS 建立預測與模型,DE 確保資料穩定流動。
這一段用問題與產出去講三個角色。不同公司會重疊,尤其小團隊一個人可能同時做兩三種事。
03 初步認識 DA/DS/DE
同一份資料可以被三種角色使用,差別在於面對同一個目標時,各自先解決哪種問題與主要風險。
| 角色 | 常問問題 | 決定與交付 | 主要風險 |
|---|---|---|---|
| DA 資料分析師 Data Analyst |
到底發生了什麼?
定義指標,找出趨勢與例外。 |
指標定義與分析建議
決定比較口徑,交付分析結果與限制。 |
口徑不一致
資料涵蓋範圍或期間有缺口,結論難以支持決策。 |
| DS 資料科學家 Data Scientist |
什麼可能發生?
建立假設,驗證預測是否有用。 |
模型、實驗與評估
選擇評估方式,交代結果的適用範圍。 |
證據無法用在實際情境
訓練資料不具代表性,使用時拿不到相同特徵。 |
| DE 資料工程師 Data Engineer |
資料能不能可靠到達?
設計管線,維持資料品質與可用性。 |
資料模型與可重跑流程
決定更新與恢復方式,交付檢查規則與監控。 |
資料缺漏或無法恢復
流程延遲、結果無法追溯,出錯後難以回補。 |
這張約 6 分鐘。DA 會問期間、回補與去重規則;DS 會問特徵是否可用、歷史資料與品質是否足夠;DE 則看影響範圍、監控與如何恢復。
三個角色名稱中英對照:DA(Data Analyst 資料分析師)、DS(Data Scientist 資料科學家)、DE(Data Engineer 資料工程師)。DA 側重定義與洞察,DS 側重假設與預測證據,DE 側重管線穩定、資料契約與可追溯重跑。不同公司會有不同邊界與重疊;特別在小團隊,一人可能包辦從資料管線到報表分析。
引導學生思考:不需要急著幫自己貼標籤,而是看自己願意長期面對哪類挫折與挑戰——是面對模糊需求並勇敢下定義(DA)、是在不確定中接受假設可能被推翻(DS),還是反覆處理管線失效、重跑回補與底層維運(DE)。接下來用會員流失情境,看這些問題如何在同一個團隊裡接起來。
04 / WORK IN PRACTICE
角色合作和 DE 日常,其實是同一件事:把問題做成別人敢用、也接得起來的系統。
這一段把原本的 Collaboration 和 DE Daily 合在一起。角色合作不是開會分工而已,最後要落在資料能不能被使用、被驗證、被維護。
04 共同問題
先對齊問題,再決定要不要做模型;最後還要讓結果能持續更新、有人接手。
觀察期間、納入族群、例外與成功條件先定義,避免拿模糊標籤訓練模型。
是發通知、給優惠、調整產品,還是只想理解現象?錯判成本與決策時點要先說清楚。
DS 看證據與限制;DE 確認特徵資料能更新、重跑,訓練與上線拿到的資料一致。
期間、族群、例外與成功條件。
資料一致,結果附帶適用範圍與限制。
更新頻率、owner、失效與回補方式。
這張約 6 分鐘。用會員流失案例把三種工作接起來。DA 的定義會影響 DS 的標籤,DS 的需求會影響 DE 的資料契約;業務的決策成本則會反過來決定要不要做模型。
三個底部詞是交付前的最低共識:先把問題定義清楚,再確認資料與結果的限制,最後留下更新頻率、owner、失效訊號與回補方式。合作不是把工作切開,而是讓下一個人不用重新猜前面發生了什麼。
04 DE DAILY
每個需求都要在即時性、可靠度、維運能力與成本之間做選擇。
誰產生、誰使用、多久更新,成功的定義是什麼?
由決策時點與失敗成本推導,不先追工具熱度。
轉換、重試、回補與版本控制都要能走得通。
品質、freshness、schema、告警與 owner 要連起來。
文件、血緣與新需求都會回到這條工作迴圈。
欄位、型別、更新頻率、擁有者與變更規則。
能觀測、能重跑,也能處理延遲與部分失敗。
知道哪個檢查失敗,也知道影響哪些下游。
讓下一個人接手時,不必只靠口頭記憶。
即時不是預設答案;選的方案要對應需求,也要能長期維護。
這張約 6 分鐘。這頁把 DE 的日常和架構判斷放在一起。很多時間花在上游欄位變更、資料延遲、回補、告警與下游定義不一致,不只是寫 Pipeline。
Batch、Micro-batch、Streaming 都是選項,不是職稱或能力高低。即時需求要由業務決策時點、延遲損失、重放需求、團隊維運能力與成本推導。最後收在四個交付物:資料契約、能重跑的 Pipeline、品質與血緣、文件與告警。
05 / CAREER PATH
回頭看,我先學會把問題做深,後來才開始對流程、系統、團隊與決策負責。
這一段要講心路,不要念完整履歷。每個階段回答兩件事:當時遇到的問題變了什麼?因此需要多學會哪種責任?
05 我的路徑 · CAREER PATH
我在後端與大量資料處理的工作裡找到方向,後來逐步接下流程、架構與團隊協作的責任。
練習定義、假設與驗證,習慣先把模糊問題拆開。
面對抽象問題的耐心
從大數據分析訓練接觸資料清理與處理,逐漸注意到背後的工程問題。
接觸資料處理與工程問題
進入資料導向團隊,以後端開發為主並接觸運算框架,發現自己熱愛大量資料可靠流動。
讓系統在限制下運作
正式以資料工程師角色工作,以分散式運算與雲端平台處理龐大資料量,確保管線可重跑。
讓流程可重跑、可觀測
從資料處理延伸到資料治理、架構規劃與多團隊協作,對技術選擇、邊界與長期維護負責。
對選擇與系統結果負責
這張約 6 分鐘。這一頁融合了我從數學系一路走到架構工作的五個階段與心路轉折,不要把履歷逐段念過去,而是聚焦「當時遇到的問題變了什麼」與「責任如何擴張」。
那時我還不知道資料工程師這個職位,只知道自己想參與資料處理,讓結果更快出來。
進入資料導向的新創公司後,雖然掛名後端工程師,但主要接觸大數據運算框架。那時我確定了自己真正熱愛的動機:看著資料順暢流過系統,並把極大資料量在短時間內可靠處理完畢,帶來最直接的成就感。隨後正式在企業級規模以資料工程師身份面對海量處理與穩定交付。
後來,我更在意資料治理、資料定義與長期使用,逐步參與跨團隊架構設計,走到現在的 Engineering Lead 工作。
05 三個轉折
當資料被很多報表、模型與決策依賴,問題會變成:「產出錯了誰會知道、怎麼修、會影響誰?」
後端與分散式系統經驗讓我開始在意資料的生命週期:來源、處理、儲存、重跑、監控與下游介面。
當問題跨過多個團隊,修好一個點還不夠;還要有共同標準、架構原則、治理、文件,以及讓別人也能做決定的語言。
我仍然會自己寫程式、查問題,也會同時看程式能不能跑、方案能不能被團隊維護、企業能不能負擔,以及需求改變後能不能繼續調整。
職涯往前走,就是從把一個問題做好,到能對整條流程和最後結果負責。
這張約 5 分鐘。這是職涯故事的核心。「升級」的感覺,來自負責的範圍一路擴大:流程、系統、團隊與決策都要看。
06 / CASE STUDIES
下面用兩個去識別化的工程案例,看不同角色先問什麼,也看每個方案要付出什麼代價。
先說明案例邊界:客戶名稱、內部數字與敏感欄位都不放進來。這裡保留問題結構與技術取捨,讓大家看到工程思維如何落地。
06 案例一 · INGESTION
去識別化工程情境
資料要從來源區域進到分析平台。權限、重送和失敗處理都要管好,架構圖只是起點。
來源系統、網路區隔、檔案或資料庫,更新方式與可用窗口不一定一致。
建立可重複使用的資料路徑、驗證、落地、重試與紀錄,不讓每個 crawler 自己發明流程。
資料進入平台後,才能被後續 ETL、分析、治理與監控流程接住。
DE 的問題:如何讓 ingestion path 能被監控、追蹤,也能隨來源增加而維持運作。
DA/DS 會關心:資料何時可用、哪些資料遺漏,以及結果適用到哪裡。
這張約 6 分鐘。可以用金融場景的高限制環境作為背景,但不必講公司或內部架構。重點是「標準化入口」:來源不同、限制不同,仍需要一致的落地、驗證、重試與紀錄。
這也是工程責任和資料責任的交集:DE 建路徑,DA/DS 必須知道這條路徑的延遲、範圍與限制。
06 案例二 · COMPUTE
去識別化工程情境
當既有 ETL 的處理時間開始影響交付,直覺可能是「換成比較新的框架」。先回答幾個問題:瓶頸在資料讀寫、計算、排程、序列化,還是資料本身的分布?
拆開總時間:讀取、shuffle、計算、寫出與等待,避免只看整體完成時間。
確認資料量、分區、join、重複計算與中間結果,找出最消耗資源的地方。
把 MapReduce 流程重構成較適合的分散式處理方式,並保留結果驗證與回退路徑。
速度變快還不夠;還要比對資料正確性、失敗模式、維運成本與後續可擴充性。
這張約 6 分鐘。履歷中有 MapReduce 到 Spark 的重構經驗,但公開分享時可以不先放改善百分比,除非確認可公開。把重點放在診斷順序:量測、理解資料、改造、驗證。
這個案例可以連到數學與系統思維:演算法、資料結構、分區與執行模型會直接影響效能,不能只靠換一個產品名稱。前面談到的資料正確性、成本與失敗處理,也需要用來檢查 AI 產生的方案。接下來看看 AI 會加快哪些工作,以及我們還要做哪些判斷。
07 / AI ERA
程式與答案產生得更快之後,問題定義、驗證、系統脈絡與責任判斷會更常出現在日常工作裡。
這一段別做成 AI 工具清單。重點是哪些能力會被放大、哪些責任不能外包給模型。
07 AI 會改變什麼?
AI 可以很快寫出答案;能不能上線,還是要由工程和業務一起判斷。
這張約 5 分鐘。承認 AI 會提高個人產出,避免用「AI 不會取代人」這種空泛句子帶過。產出速度提高後,驗證、脈絡與責任會更重要。
07 怎麼準備?
SQL、Python、資料結構、網路、Linux、版本控制與基礎統計。基礎不夠,很難知道答案哪裡不對。
不能只看一段 query;還要追來源、轉換、儲存、權限、部署、監控與下游使用。
用資料測試、效能測試、錯誤情境與真實案例去驗證它。「看起來合理」還不夠。
為什麼這樣做?成本是什麼?什麼情況會失效?誰需要知道?這些問題比 prompt 技巧更耐用。
AI 讓初版更快;真正拉開差距的是,你能不能把結果驗清楚,並對它負責。
這張約 5 分鐘。給學生具體路徑:底層、脈絡、證據、判斷。可以示範讓 AI 產生一段 SQL,但接著問資料定義、NULL、重複、時區與效能,讓大家看到審查比生成更關鍵。
07 可執行的起點
作品不需要先做成一個大而空的 AI 平台。從公開資料或你熟悉的問題開始,把每一步怎麼想、怎麼做、哪裡可能錯寫下來。
這樣別人才看得到:你會用工具,也能把模糊問題變成可以檢查的結果。
這張約 4 分鐘。這張不給無限長的學習清單。作品的價值在於可被追問:來源、假設、流程、錯誤與取捨都留下來,面試時才有可以深入討論的證據。
08 Q&A
你可以問職涯轉換、DA/DS/DE 的差異、資料工程師日常、架構取捨、AI 時代怎麼準備,也可以直接追問剛才哪一頁沒講清楚。
我適合哪種資料工作?職缺名稱要怎麼讀?
資料工程師每天到底在做什麼?需要哪些基礎?
如果現在才開始,下一個小題目可以怎麼選?
Q&A 約 10 分鐘。如果現場安靜,可以主動開第一題:「大家目前最分不清楚的是哪兩個角色?」或請大家選一個最想知道的:角色、日常、職涯、案例、AI。
回答時維持今天的原則:以實際問題與責任來回答,也說清楚這是我的路徑,大家可以拿自己的情境來比較。
數據職涯導覽 · NTU DAC
1/0
觸控裝置可左右滑動切換;⌘/Ctrl + P 可列印或輸出 PDF。