我的背景
目前角色
Engineering Lead(Cloud & Data)
工作重點
資料工程、雲端架構、資料架構與治理
教學工作
緯育 TibaMe/資策會講師與課程顧問
專業認證
Google Cloud 專業資料工程師與雲端架構師
學歷
國立中央大學數學系
資料工程年資
約 7 年,橫跨新創與企業
NTU DAC · CAREER FIELD NOTES
意外走進資料工程,逐漸找到架構設計的方向
01 自我介紹
從數學與問題拆解,走到資料平台與架構。
Engineering Lead(Cloud & Data)
資料工程、雲端架構、資料架構與治理
緯育 TibaMe/資策會講師與課程顧問
Google Cloud 專業資料工程師與雲端架構師
國立中央大學數學系
約 7 年,橫跨新創與企業
資料湖倉、資料治理
資料模型、資料架構
分散式 ETL、Spark
Hadoop 大數據解決方案
資料管線監控
02 / VALUE CHAIN
企業想用資料回答問題、做出決策。
答案能不能用,要從資料來源與流程開始看。
02 招募需求
各自以 2022 年工作機會數為基準
這是招募量的增幅,並非 AI 職缺在整體市場的占比。
104《AI 人才趨勢報告》,2026 ↗的樣本公司開出資料相關職缺
分開看三種職位,有刊登該職缺的公司比例:
858 家美國科技公司;職位可重疊,31% 也包含其他資料職位。
Riso Group 原始分析 ↗左邊比較兩段期間的招募增幅;右邊統計樣本公司是否刊登職缺,兩種百分比不能互相比較。
02 企業的資料問題
昨天的營收是多少?
AI 能更快做出報表;若漏了退款,數字照樣錯。訂單、退款放在不同系統,得先接起來。
折扣和退款怎麼算,大家要用同一個口徑。
報表每天更新,數字怪了得追得到原因。
把資料來源接好、算法說清楚,報表和 AI 才有可信的資料。
02 資料價值鏈
DA、DS、DE 都在同一條資料路徑上工作。畫面上的數字只是最後一站,前面每個環節都可能改變它。
交易、點擊、設備、客服、業務流程
DB、API、Log、第三方服務與人工輸入
擷取、轉換、儲存、建模、品質與治理
指標、實驗、預測、分群與推論
產品、營運、行銷、風控與管理
讓資料按預期出現;出錯時有人知道、找得到,也修得回來。
把資料整理成能回答問題的指標、比較和證據;圖表只是最後的呈現方式。
把資料做得更快、更穩,讓人敢拿來做決策;平台長什麼樣只是其中一小部分。
03 / ROLE MAP
DA 把資料轉成洞察,DS 建立預測與模型,DE 確保資料穩定流動。
03 初步認識 DA/DS/DE
同一份資料可以被三種角色使用,差別在於面對同一個目標時,各自先解決哪種問題與主要風險。
| 角色 | 常問問題 | 決定與交付 | 主要風險 |
|---|---|---|---|
| DA 資料分析師 Data Analyst |
到底發生了什麼?
定義指標,找出趨勢與例外。 |
指標定義與分析建議
決定比較口徑,交付分析結果與限制。 |
口徑不一致
資料涵蓋範圍或期間有缺口,結論難以支持決策。 |
| DS 資料科學家 Data Scientist |
什麼可能發生?
建立假設,驗證預測是否有用。 |
模型、實驗與評估
選擇評估方式,交代結果的適用範圍。 |
證據無法用在實際情境
訓練資料不具代表性,使用時拿不到相同特徵。 |
| DE 資料工程師 Data Engineer |
資料能不能可靠到達?
設計管線,維持資料品質與可用性。 |
資料模型與可重跑流程
決定更新與恢復方式,交付檢查規則與監控。 |
資料缺漏或無法恢復
流程延遲、結果無法追溯,出錯後難以回補。 |
04 / WORK IN PRACTICE
角色合作和 DE 日常,其實是同一件事:把問題做成別人敢用、也接得起來的系統。
04 共同問題
先對齊問題,再決定要不要做模型;最後還要讓結果能持續更新、有人接手。
觀察期間、納入族群、例外與成功條件先定義,避免拿模糊標籤訓練模型。
是發通知、給優惠、調整產品,還是只想理解現象?錯判成本與決策時點要先說清楚。
DS 看證據與限制;DE 確認特徵資料能更新、重跑,訓練與上線拿到的資料一致。
期間、族群、例外與成功條件。
資料一致,結果附帶適用範圍與限制。
更新頻率、owner、失效與回補方式。
04 DE DAILY
每個需求都要在即時性、可靠度、維運能力與成本之間做選擇。
誰產生、誰使用、多久更新,成功的定義是什麼?
由決策時點與失敗成本推導,不先追工具熱度。
轉換、重試、回補與版本控制都要能走得通。
品質、freshness、schema、告警與 owner 要連起來。
文件、血緣與新需求都會回到這條工作迴圈。
欄位、型別、更新頻率、擁有者與變更規則。
能觀測、能重跑,也能處理延遲與部分失敗。
知道哪個檢查失敗,也知道影響哪些下游。
讓下一個人接手時,不必只靠口頭記憶。
即時不是預設答案;選的方案要對應需求,也要能長期維護。
05 / CAREER PATH
回頭看,我先學會把問題做深,後來才開始對流程、系統、架構與技術決策負責。
05 我的路徑 · CAREER PATH
我在後端與大量資料處理的工作裡找到方向,後來逐步接下流程、架構與團隊協作的責任。
在數學系學寫程式,也透過解題練習邏輯推理。
程式入門與邏輯訓練
從大數據分析訓練接觸資料清理與處理,逐漸注意到背後的工程問題。
接觸資料處理與工程問題
進入資料導向團隊,以後端開發為主並接觸運算框架,發現自己熱愛大量資料可靠流動。
讓系統在限制下運作
正式以資料工程師角色工作,以分散式運算與雲端平台處理龐大資料量,確保管線可重跑。
讓流程可重跑、可觀測
從資料處理延伸到資料治理、架構規劃與多團隊協作,對技術選擇、邊界與長期維護負責。
對選擇與系統結果負責
05 三個轉折
我是在金融數據團隊、新創和遊戲公司的工作裡,慢慢找到想走的方向。
在金融數據團隊,我做資料處理與分析,也接觸資料庫和大數據系統。那時開始好奇資料怎麼流動,還沒想過要成為資料工程師。
在新創做後端時,我維護 API、用 Hadoop 處理資料。後來進遊戲公司,面對更大的資料量,更確定自己喜歡這類工程問題。
維運大數據系統時,除錯常花很多力氣。我也想更理解業務需求;轉到資料治理工作後,開始把需求轉成方案,逐漸走向架構設計。
06 / CASE STUDIES
下面用兩個去識別化的工程案例,看不同角色先問什麼,也看每個方案要付出什麼代價。
06 案例一 · DATA PLATFORM
電商數據中台專案
06 案例二 · COMPUTE
大數據專案
任務失敗時,提交者知道停在哪裡,工程師也找得到 Log。
07 / AI ERA
程式與答案產生得更快之後,問題定義、驗證、系統脈絡與責任判斷會更常出現在日常工作裡。
07 AI 會改變什麼?
AI 可以很快寫出答案;能不能上線,還是要由工程和業務一起判斷。
07 怎麼準備?
SQL、Python、資料結構、網路、Linux、版本控制與基礎統計。基礎不夠,很難知道答案哪裡不對。
不能只看一段 query;還要追來源、轉換、儲存、權限、部署、監控與下游使用。
用資料測試、效能測試、錯誤情境與真實案例去驗證它。「看起來合理」還不夠。
為什麼這樣做?成本是什麼?什麼情況會失效?誰需要知道?這些問題比 prompt 技巧更耐用。
07 可執行的起點
從一個真實需求開始,說清楚資料怎麼來、怎麼處理、怎麼交付,出錯時又怎麼恢復。
誰用結果?要改善哪個決策?
資料在哪裡?誰負責?多久更新?
怎麼清理、關聯?每筆代表什麼?
誰來用?交付格式與更新頻率?
批次還是即時?用哪些儲存與排程元件?資料量或使用者增加時,瓶頸和成本會在哪裡?
數據職涯導覽 · NTU DAC
1/0
觸控裝置可左右滑動切換;⌘/Ctrl + P 可列印或輸出 PDF。