NTU DAC · CAREER FIELD NOTES

數據職涯
導覽

意外走進資料工程,逐漸找到架構設計的方向

施丞優 Allen Shi

Data Engineering · Data Architecture · Engineering Lead

2026.09.30 · 60 min(含 Q&A)

01 自我介紹

關於我

從數學與問題拆解,走到資料平台與架構。

我的背景

目前角色

Engineering Lead(Cloud & Data)

工作重點

資料工程、雲端架構、資料架構與治理

教學工作

緯育 TibaMe/資策會講師與課程顧問

專業認證

Google Cloud 專業資料工程師與雲端架構師

學歷

國立中央大學數學系

資料工程年資

約 7 年,橫跨新創與企業

過往公司

  • ViewSonic

    資料湖倉、資料治理

  • Hengstyle

    資料模型、資料架構

  • Gamania

    分散式 ETL、Spark

  • LnData

    Hadoop 大數據解決方案

  • Taipei Fubon Bank

    資料管線監控

02 / VALUE CHAIN

資料為什麼會變成一門工程?

企業想用資料回答問題、做出決策。
答案能不能用,要從資料來源與流程開始看。

02 招募需求

企業對 AI 與資料人才的需求

已發生的變化|2022–2026

AI 相關工作機會增加多少?

各自以 2022 年工作機會數為基準

AI 相關需求
+97.6%
整體招募市場
+22.9%

這是招募量的增幅,並非 AI 職缺在整體市場的占比。

104《AI 人才趨勢報告》,2026 ↗
招募快照|2025/12–2026/01

有多少公司在招募資料相關職位?

31%

的樣本公司開出資料相關職缺

分開看三種職位,有刊登該職缺的公司比例:

資料科學家Data Scientist
15%
資料工程師Data Engineer
12%
資料分析師Data Analyst
8%

858 家美國科技公司;職位可重疊,31% 也包含其他資料職位。

Riso Group 原始分析 ↗

左邊比較兩段期間的招募增幅;右邊統計樣本公司是否刊登職缺,兩種百分比不能互相比較。

02 企業的資料問題

企業為什麼需要資料職位?

一個常見問題

昨天的營收是多少?

AI 能更快做出報表;若漏了退款,數字照樣錯。

來源分散

訂單、退款放在不同系統,得先接起來。

營收怎麼算

折扣和退款怎麼算,大家要用同一個口徑。

出錯難查

報表每天更新,數字怪了得追得到原因。

把資料來源接好、算法說清楚,報表和 AI 才有可信的資料。

02 資料價值鏈

一張 dashboard,
背後有一整條資料路徑

DA、DS、DE 都在同一條資料路徑上工作。畫面上的數字只是最後一站,前面每個環節都可能改變它。

01
INPUT

真實世界

交易、點擊、設備、客服、業務流程

02
SOURCE

來源系統

DB、API、Log、第三方服務與人工輸入

03
PLATFORM

資料平台

擷取、轉換、儲存、建模、品質與治理

04
INSIGHT

分析/模型

指標、實驗、預測、分群與推論

05
ACTION

決策與行動

產品、營運、行銷、風控與管理

資料工程的價值

讓資料按預期出現;出錯時有人知道、找得到,也修得回來。

分析的價值

把資料整理成能回答問題的指標、比較和證據;圖表只是最後的呈現方式。

公司真正需要的能力

把資料做得更快、更穩,讓人敢拿來做決策;平台長什麼樣只是其中一小部分。

03 / ROLE MAP

DA、DS、DE,處理不同的資料問題

DA 把資料轉成洞察,DS 建立預測與模型,DE 確保資料穩定流動。

03 初步認識 DA/DS/DE

三種角色,起手式與責任不同

同一份資料可以被三種角色使用,差別在於面對同一個目標時,各自先解決哪種問題與主要風險。

角色 常問問題 決定與交付 主要風險
DA 資料分析師 Data Analyst 到底發生了什麼?

定義指標,找出趨勢與例外。

指標定義與分析建議

決定比較口徑,交付分析結果與限制。

口徑不一致

資料涵蓋範圍或期間有缺口,結論難以支持決策。

DS 資料科學家 Data Scientist 什麼可能發生?

建立假設,驗證預測是否有用。

模型、實驗與評估

選擇評估方式,交代結果的適用範圍。

證據無法用在實際情境

訓練資料不具代表性,使用時拿不到相同特徵。

DE 資料工程師 Data Engineer 資料能不能可靠到達?

設計管線,維持資料品質與可用性。

資料模型與可重跑流程

決定更新與恢復方式,交付檢查規則與監控。

資料缺漏或無法恢復

流程延遲、結果無法追溯,出錯後難以回補。

04 / WORK IN PRACTICE

從一起定義,到把資料交付給下游

角色合作和 DE 日常,其實是同一件事:把問題做成別人敢用、也接得起來的系統。

04 共同問題

會員可能流失時,
三個角色怎麼一起把問題做完

先對齊問題,再決定要不要做模型;最後還要讓結果能持續更新、有人接手。

DA · 定義

先把「流失」說清楚

觀察期間、納入族群、例外與成功條件先定義,避免拿模糊標籤訓練模型。

→
共同決策

這個結果要用來做什麼?

是發通知、給優惠、調整產品,還是只想理解現象?錯判成本與決策時點要先說清楚。

→
DS · DE

驗證,然後持續供應

DS 看證據與限制;DE 確認特徵資料能更新、重跑,訓練與上線拿到的資料一致。

定義

期間、族群、例外與成功條件。

驗證

資料一致,結果附帶適用範圍與限制。

交付

更新頻率、owner、失效與回補方式。

04 DE DAILY

DE 的日常,
不是把 Pipeline 寫完就結束

每個需求都要在即時性、可靠度、維運能力與成本之間做選擇。

1. 問清楚來源與用途

誰產生、誰使用、多久更新,成功的定義是什麼?

2. 選批次、微批次或即時

由決策時點與失敗成本推導,不先追工具熱度。

3. 建立可重跑的流程

轉換、重試、回補與版本控制都要能走得通。

4. 讓錯誤先被看見

品質、freshness、schema、告警與 owner 要連起來。

5. 交付給下游,持續修

文件、血緣與新需求都會回到這條工作迴圈。

INPUT

資料契約

欄位、型別、更新頻率、擁有者與變更規則。

PROCESS

Pipeline

能觀測、能重跑,也能處理延遲與部分失敗。

CONTROL

品質與血緣

知道哪個檢查失敗,也知道影響哪些下游。

HANDOFF

文件與告警

讓下一個人接手時,不必只靠口頭記憶。

即時不是預設答案;選的方案要對應需求,也要能長期維護。

05 / CAREER PATH

職涯往前走,
要負責的範圍也會變大

回頭看,我先學會把問題做深,後來才開始對流程、系統、架構與技術決策負責。

05 我的路徑 · CAREER PATH

從後端與資料處理,
走到架構設計

我在後端與大量資料處理的工作裡找到方向,後來逐步接下流程、架構與團隊協作的責任。

01 / FOUNDATION

數學背景

在數學系學寫程式,也透過解題練習邏輯推理。

程式入門與邏輯訓練

02 / ENTRY

大數據分析訓練

從大數據分析訓練接觸資料清理與處理,逐漸注意到背後的工程問題。

接觸資料處理與工程問題

03 / BACKEND

新創後端工程

進入資料導向團隊,以後端開發為主並接觸運算框架,發現自己熱愛大量資料可靠流動。

讓系統在限制下運作

04 / SCALE

大規模資料處理

正式以資料工程師角色工作,以分散式運算與雲端平台處理龐大資料量,確保管線可重跑。

讓流程可重跑、可觀測

05 / LEAD

架構設計與技術決策

從資料處理延伸到資料治理、架構規劃與多團隊協作,對技術選擇、邊界與長期維護負責。

對選擇與系統結果負責

我找到自己喜歡的工作,是讓大量資料在短時間內可靠地流過系統。

05 三個轉折

資料工程不是一開始就選好的

我是在金融數據團隊、新創和遊戲公司的工作裡,慢慢找到想走的方向。

01 加入數據團隊

興趣先埋下來

在金融數據團隊,我做資料處理與分析,也接觸資料庫和大數據系統。那時開始好奇資料怎麼流動,還沒想過要成為資料工程師。

02 後端工程師、大數據處理

確定喜歡大數據處理

在新創做後端時,我維護 API、用 Hadoop 處理資料。後來進遊戲公司,面對更大的資料量,更確定自己喜歡這類工程問題。

03 資料架構、資料治理

從系統維運轉向治理與架構

維運大數據系統時,除錯常花很多力氣。我也想更理解業務需求;轉到資料治理工作後,開始把需求轉成方案,逐漸走向架構設計。

NOW Engineering Lead(Cloud & Data) 數據治理 · 資料架構 · 雲端架構

06 / CASE STUDIES

從案例看,
技術選擇怎麼做出來

下面用兩個去識別化的工程案例,看不同角色先問什麼,也看每個方案要付出什麼代價。

06 案例一 · DATA PLATFORM

把分散的電商資料,
整成共用資料平台

電商數據中台專案

SHARED DATA PLATFORM 來源載入、分層轉換,再提供各團隊使用
SOURCES 公司資料
線上/線下會員 商品與會員標籤 API/行為資料
INGEST 載入與暫存
Data Fusion Python Cloud Storage
BIGQUERYdbt 分層轉換
01 Source 02 ODS 03 STG 04 Dimensions & Details 05 Mart
CONSUMERS 下游應用
Power BI Data Science CDP & MA Reverse ETL
Prefect 統一排程與執行監控 失敗後可重跑/補資料
整理後 報表邏輯與排程集中管理;有問題時,能追來源、重跑或補資料。

06 案例二 · COMPUTE

讓 ETL 任務
可以提交、排隊與追蹤

大數據專案

任務如何提交與執行
01 / 提交與排隊
CLIENT提交任務
REST API建立 Job
QUEUE任務排隊
回傳 Job ID提交者可查狀態
背景執行Client 不必等待 Spark 完成
02 / 執行與保存
CONSUMER取出任務
SPARK執行 ETL
HDFS保存結果
任務狀態
MySQLJob ID、狀態與輸出路徑
ready→running→done/error
執行紀錄 Log System 集中查看錯誤
DAILY PIPELINE TIME
原流程 MapReduce 約 7–8 小時
引擎轉換 Spark 改用 Spark 處理
後續系統 Spark + Job Queue 系統 約 1–2 小時
改造後

任務失敗時,提交者知道停在哪裡,工程師也找得到 Log。

07 / AI ERA

AI 會改變工作內容,
結果仍要有人負責

程式與答案產生得更快之後,問題定義、驗證、系統脈絡與責任判斷會更常出現在日常工作裡。

07 AI 會改變什麼?

AI 讓產出變快,
錯誤也可能走得更遠

被加速的部分

  • 把自然語言轉成 SQL、程式或文件初稿
  • 探索資料、解釋錯誤、產生測試案例
  • 比較常見架構與實作方式
  • 讓一個人先做出原本要多人一起起手的初版

因此更重要的部分

  • 判斷需求與資料是否真的對得上
  • 驗證答案、理解邊界、找出模型沒看見的例外
  • 知道權限、資安、成本與穩定性不能靠猜
  • 為上線後的結果、失效與影響範圍負責

AI 可以很快寫出答案;能不能上線,還是要由工程和業務一起判斷。

07 怎麼準備?

寫程式之外,
也要學會審查 AI 寫的系統

01 / FOUNDATION

把底層補起來

SQL、Python、資料結構、網路、Linux、版本控制與基礎統計。基礎不夠,很難知道答案哪裡不對。

02 / CONTEXT

學會看完整流程

不能只看一段 query;還要追來源、轉換、儲存、權限、部署、監控與下游使用。

03 / EVIDENCE

用測試與觀測驗證

用資料測試、效能測試、錯誤情境與真實案例去驗證它。「看起來合理」還不夠。

04 / JUDGEMENT

練習說清楚取捨

為什麼這樣做?成本是什麼?什麼情況會失效?誰需要知道?這些問題比 prompt 技巧更耐用。

07 可執行的起點

做一條能解決問題的資料流

從一個真實需求開始,說清楚資料怎麼來、怎麼處理、怎麼交付,出錯時又怎麼恢復。

FROM PROBLEM TO DATA FLOW每一步都要說得出理由
01 / DEFINE

問題

誰用結果?要改善哪個決策?

02 / SOURCE

資料來源

資料在哪裡?誰負責?多久更新?

03 / TRANSFORM

處理

怎麼清理、關聯?每筆代表什麼?

04 / DELIVER

交付

誰來用?交付格式與更新頻率?

ARCHITECTURE CHOICES

批次還是即時?用哪些儲存與排程元件?資料量或使用者增加時,瓶頸和成本會在哪裡?

作品要說得清楚資料從哪裡來、怎麼驗證、出錯怎麼處理。

Q&A

LinkedIn QR Code
LinkedIn 工作經歷・保持聯繫
個人網站 QR Code
uuboyscy.dev 個人網站

數據職涯導覽 · NTU DAC