NTU DAC · CAREER FIELD NOTES

數據職涯
導覽

意外走進資料工程,後來走到 Data Architect

施丞優 Allen Shi

Data Engineering · Data Architecture · Engineering Lead

2026.09.30 · 60 min + Q&A

01 自我介紹 · NOW

我現在同時處理
資料管線與系統設計

現任歐洲資料顧問公司的 Engineering Lead。我的工作常從一句很模糊的需求開始,最後要變成一個跑得動、有人維護、成本也付得起的系統。

我負責
Data Engineering、Cloud Architecture、Data Architecture 與系統架構規劃。
我需要判斷
資料量、存取模式、處理流程、資安限制、穩定性、成本與未來的變化。
我需要協作
和客戶、產品、分析、資料科學與工程團隊,把需求、風險與限制整理成一個能執行的技術決策。

一個常見的工作場景

客戶說:「我們需要即時資料平台。」

我會先把幾個基本問題問清楚:

  • 哪個決策真的需要即時?
  • 延遲幾分鐘會造成什麼損失?
  • 資料量與尖峰怎麼變化?
  • 誰定義正確?失敗時誰處理?

我通常先問四件事:誰會用、要多快、怎麼驗證、出錯誰負責。

01 自我介紹

關於我

從數學與問題拆解,走到資料平台與架構。

我的背景

目前角色

歐洲資料公司 Engineering Lead

工作重點

資料工程、雲端架構、資料治理

教學工作

緯育 TibaMe/資策會講師與課程顧問

專業認證

Google Cloud 專業資料工程師與雲端架構師

學歷

國立中央大學數學系

資料工程年資

約 7 年,橫跨新創與企業

我的過往公司

從資料工程到資料架構
  • 歐洲資料公司

    Engineering Lead|資料工程、雲端架構

  • ViewSonic

    資料湖倉、資料治理

  • Hengstyle

    資料模型、資料架構

  • Gamania

    分散式 ETL、Spark

  • LnData

    Hadoop 大數據解決方案

  • Taipei Fubon Bank

    資料管線監控

  • 數學系

    國立中央大學

02 / VALUE CHAIN

資料為什麼會變成一門工程?

一筆資料從事件產生,經過來源系統與資料平台,最後用來分析或支援決策。
中間任何一段出了問題,最後的結果就可能不值得相信。

02 資料價值產業鏈

一張 dashboard,
背後有一整條資料路徑

DA、DS、DE 都在同一條資料路徑上工作。畫面上的數字只是最後一站,前面每個環節都可能改變它。

01
INPUT

真實世界

交易、點擊、設備、客服、業務流程

02
SOURCE

來源系統

DB、API、Log、第三方服務與人工輸入

03
PLATFORM

資料平台

擷取、轉換、儲存、建模、品質與治理

04
INSIGHT

分析/模型

指標、實驗、預測、分群與推論

05
ACTION

決策與行動

產品、營運、行銷、風控與管理

資料工程的價值

讓資料按預期出現;出錯時有人知道、找得到,也修得回來。

分析的價值

把資料整理成能回答問題的指標、比較和證據;圖表只是最後的呈現方式。

公司真正需要的能力

把資料做得更快、更穩,讓人敢拿來做決策;平台長什麼樣只是其中一小部分。

02 為什麼是現在?

資料職位為什麼在這幾年變多?

資料一旦進入營運,錯一次就不只是報表錯;庫存、行銷、風控與客戶服務都可能跟著錯。

01 / DAILY

資料變成每天都要跑的系統

流程不是跑完一次就結束。半夜斷掉、隔天才發現,報表、推薦或營運數字就會一起延遲。

02 / DEFINITION

同一個數字,常常有不同答案

不同團隊各自計算營收或活躍用戶,大家都能交報表,卻沒有人能說明哪個才是基準。

03 / SCALE

資料量變大,錯誤也變得更貴

查詢變慢、回補變久、雲端費用上升。問題不再只是能不能算,而是能不能穩定地算下去。

04 / AI

AI 越快,越快暴露資料問題

模型可以很快給答案,但來源過期、欄位定義不一致,回答再順也可能是錯的。

資料職位變多,是因為資料已經從分析素材,變成會影響營運的系統。

03 / ROLE MAP

DA、DS、DE,處理不同的資料問題

DA 把資料轉成洞察,DS 建立預測與模型,DE 確保資料穩定流動。

03 初步認識 DA/DS/DE

三種角色,起手式與責任不同

同一份資料可以被三種角色使用,差別在於面對同一個目標時,各自先解決哪種問題與主要風險。

角色 常問問題 決定與交付 主要風險
DA 資料分析師 Data Analyst 到底發生了什麼?

定義指標,找出趨勢與例外。

指標定義與分析建議

決定比較口徑,交付分析結果與限制。

口徑不一致

資料涵蓋範圍或期間有缺口,結論難以支持決策。

DS 資料科學家 Data Scientist 什麼可能發生?

建立假設,驗證預測是否有用。

模型、實驗與評估

選擇評估方式,交代結果的適用範圍。

證據無法用在實際情境

訓練資料不具代表性,使用時拿不到相同特徵。

DE 資料工程師 Data Engineer 資料能不能可靠到達?

設計管線,維持資料品質與可用性。

資料模型與可重跑流程

決定更新與恢復方式,交付檢查規則與監控。

資料缺漏或無法恢復

流程延遲、結果無法追溯,出錯後難以回補。

04 / WORK IN PRACTICE

從一起定義,到把資料交付給下游

角色合作和 DE 日常,其實是同一件事:把問題做成別人敢用、也接得起來的系統。

04 共同問題

會員可能流失時,
三個角色怎麼一起把問題做完

先對齊問題,再決定要不要做模型;最後還要讓結果能持續更新、有人接手。

DA · 定義

先把「流失」說清楚

觀察期間、納入族群、例外與成功條件先定義,避免拿模糊標籤訓練模型。

共同決策

這個結果要用來做什麼?

是發通知、給優惠、調整產品,還是只想理解現象?錯判成本與決策時點要先說清楚。

DS · DE

驗證,然後持續供應

DS 看證據與限制;DE 確認特徵資料能更新、重跑,訓練與上線拿到的資料一致。

定義

期間、族群、例外與成功條件。

驗證

資料一致,結果附帶適用範圍與限制。

交付

更新頻率、owner、失效與回補方式。

04 DE DAILY

DE 的日常,
不是把 Pipeline 寫完就結束

每個需求都要在即時性、可靠度、維運能力與成本之間做選擇。

1. 問清楚來源與用途

誰產生、誰使用、多久更新,成功的定義是什麼?

2. 選批次、微批次或即時

由決策時點與失敗成本推導,不先追工具熱度。

3. 建立可重跑的流程

轉換、重試、回補與版本控制都要能走得通。

4. 讓錯誤先被看見

品質、freshness、schema、告警與 owner 要連起來。

5. 交付給下游,持續修

文件、血緣與新需求都會回到這條工作迴圈。

INPUT

資料契約

欄位、型別、更新頻率、擁有者與變更規則。

PROCESS

Pipeline

能觀測、能重跑,也能處理延遲與部分失敗。

CONTROL

品質與血緣

知道哪個檢查失敗,也知道影響哪些下游。

HANDOFF

文件與告警

讓下一個人接手時,不必只靠口頭記憶。

即時不是預設答案;選的方案要對應需求,也要能長期維護。

05 / CAREER PATH

職涯往前走,
要負責的範圍也會變大

回頭看,我先學會把問題做深,後來才開始對流程、系統、團隊與決策負責。

05 我的路徑 · CAREER PATH

從資料工程出發,
一路走到架構與帶領

我在後端與大量資料處理的工作裡找到方向,後來逐步接下流程、架構與團隊協作的責任。

01 / FOUNDATION

數學背景

練習定義、假設與驗證,習慣先把模糊問題拆開。

面對抽象問題的耐心

02 / ENTRY

大數據分析訓練

從大數據分析訓練接觸資料清理與處理,逐漸注意到背後的工程問題。

接觸資料處理與工程問題

03 / BACKEND

新創後端工程

進入資料導向團隊,以後端開發為主並接觸運算框架,發現自己熱愛大量資料可靠流動。

讓系統在限制下運作

04 / SCALE

大規模資料處理

正式以資料工程師角色工作,以分散式運算與雲端平台處理龐大資料量,確保管線可重跑。

讓流程可重跑、可觀測

05 / LEAD

架構設計與帶領

從資料處理延伸到資料治理、架構規劃與多團隊協作,對技術選擇、邊界與長期維護負責。

對選擇與系統結果負責

我找到自己喜歡的工作,是讓大量資料在短時間內可靠地流過系統

05 三個轉折

工具會換,
最後還是要對結果負責

轉折一:開始對資料負責

當資料被很多報表、模型與決策依賴,問題會變成:「產出錯了誰會知道、怎麼修、會影響誰?」

轉折二:開始看完整系統

後端與分散式系統經驗讓我開始在意資料的生命週期:來源、處理、儲存、重跑、監控與下游介面。

轉折三:開始設計團隊怎麼工作

當問題跨過多個團隊,修好一個點還不夠;還要有共同標準、架構原則、治理、文件,以及讓別人也能做決定的語言。

現在的工作重心

我仍然會自己寫程式、查問題,也會同時看程式能不能跑、方案能不能被團隊維護、企業能不能負擔,以及需求改變後能不能繼續調整。

職涯往前走,就是從把一個問題做好,到能對整條流程和最後結果負責。

06 / CASE STUDIES

從案例看,
技術選擇怎麼做出來

下面用兩個去識別化的工程案例,看不同角色先問什麼,也看每個方案要付出什麼代價。

06 案例一 · INGESTION

資料能進來,
還要確定進得對

去識別化工程情境

資料要從來源區域進到分析平台。權限、重送和失敗處理都要管好,架構圖只是起點。

SOURCE ZONE

來源與限制

來源系統、網路區隔、檔案或資料庫,更新方式與可用窗口不一定一致。

INGESTION PATH

標準化入口

建立可重複使用的資料路徑、驗證、落地、重試與紀錄,不讓每個 crawler 自己發明流程。

DATA PLATFORM

下游可以接著用

資料進入平台後,才能被後續 ETL、分析、治理與監控流程接住。

DE 的問題:如何讓 ingestion path 能被監控、追蹤,也能隨來源增加而維持運作。

DA/DS 會關心:資料何時可用、哪些資料遺漏,以及結果適用到哪裡。

06 案例二 · COMPUTE

效能改善,
先找瓶頸再換工具

去識別化工程情境

當既有 ETL 的處理時間開始影響交付,直覺可能是「換成比較新的框架」。先回答幾個問題:瓶頸在資料讀寫、計算、排程、序列化,還是資料本身的分布?

01 / MEASURE

先量測

拆開總時間:讀取、shuffle、計算、寫出與等待,避免只看整體完成時間。

02 / MODEL

理解資料與流程

確認資料量、分區、join、重複計算與中間結果,找出最消耗資源的地方。

03 / REBUILD

重新設計處理

把 MapReduce 流程重構成較適合的分散式處理方式,並保留結果驗證與回退路徑。

04 / VERIFY

確認速度之外的影響

速度變快還不夠;還要比對資料正確性、失敗模式、維運成本與後續可擴充性。

每次效能優化,都要說清楚多花了什麼、換回什麼

07 / AI ERA

AI 會改變工作內容,
結果仍要有人負責

程式與答案產生得更快之後,問題定義、驗證、系統脈絡與責任判斷會更常出現在日常工作裡。

07 AI 會改變什麼?

AI 讓產出變快,
錯誤也可能走得更遠

被加速的部分

  • 把自然語言轉成 SQL、程式或文件初稿
  • 探索資料、解釋錯誤、產生測試案例
  • 比較常見架構與實作方式
  • 讓一個人先做出原本要多人一起起手的初版

因此更重要的部分

  • 判斷需求與資料是否真的對得上
  • 驗證答案、理解邊界、找出模型沒看見的例外
  • 知道權限、資安、成本與穩定性不能靠猜
  • 為上線後的結果、失效與影響範圍負責

AI 可以很快寫出答案;能不能上線,還是要由工程和業務一起判斷。

07 怎麼準備?

寫程式之外,
也要學會審查 AI 寫的系統

01 / FOUNDATION

把底層補起來

SQL、Python、資料結構、網路、Linux、版本控制與基礎統計。基礎不夠,很難知道答案哪裡不對。

02 / CONTEXT

學會看完整流程

不能只看一段 query;還要追來源、轉換、儲存、權限、部署、監控與下游使用。

03 / EVIDENCE

用測試與觀測驗證

用資料測試、效能測試、錯誤情境與真實案例去驗證它。「看起來合理」還不夠。

04 / JUDGEMENT

練習說清楚取捨

為什麼這樣做?成本是什麼?什麼情況會失效?誰需要知道?這些問題比 prompt 技巧更耐用。

AI 讓初版更快;真正拉開差距的是,你能不能把結果驗清楚,並對它負責。

07 可執行的起點

接下來 90 天,
做一個經得起追問的作品

作品不需要先做成一個大而空的 AI 平台。從公開資料或你熟悉的問題開始,把每一步怎麼想、怎麼做、哪裡可能錯寫下來。

作品至少要能回答

  • 問題是什麼?誰會用結果?
  • 資料從哪裡來?有什麼偏差與限制?
  • 流程怎麼跑?失敗時怎麼知道?
  • 為什麼選這個方法?替代方案是什麼?
  • 如果結論錯了,影響會是什麼?

可以這樣安排

  • 前 30 天:完成一個小題目與資料探索。
  • 中間 30 天:把流程、測試、文件與可重跑性補起來。
  • 最後 30 天:請別人追問,修正假設並寫下限制。

這樣別人才看得到:你會用工具,也能把模糊問題變成可以檢查的結果。

08 Q&A

來聊你現在卡住的問題。

你可以問職涯轉換、DA/DS/DE 的差異、資料工程師日常、架構取捨、AI 時代怎麼準備,也可以直接追問剛才哪一頁沒講清楚。

01 / ROLE

我適合哪種資料工作?職缺名稱要怎麼讀?

02 / WORK

資料工程師每天到底在做什麼?需要哪些基礎?

03 / PATH

如果現在才開始,下一個小題目可以怎麼選?

施丞優 Allen Shi

Data Engineering · Data Architecture · Engineering Lead

Thank you · NTU DAC

數據職涯導覽 · NTU DAC