數據工程師是甚麼？一文睇清數據行業工作、福利、薪酬和前景

在大數據年代，企業已經開始進行數位化，進而增加對數據科學人才的需求。幾乎所有行業包括金融、電子商務、軟件開發、廣告和市場營銷，無論是線上還是線下，對數據科學人才的需求都是有增無減。

根據 Indeed 求職網站上的薪酬調查，初入行數據工程師月薪中位數達2萬6千港幣，這也視乎在什麼公司工作、工作範圍、職級和年資等決定因素。

這篇文章將帶大家了解數據工程師 ( Data Engineerer) 的工作內容、必備技能及最重要的薪水待遇、前景，以及最重要是 —— 如何入行？求職者如何從零開始轉行、常見面前等資訊，對數據工程師這職業有興趣的朋友就不要錯過了。

數據工程師簡介

數據工程師是一個相對新興的職業，他們負責收集、處理、儲存和管理大量的數據，為分析師和決策者提供可靠的數據基礎。隨著大數據和人工智能技術的發展，數據工程師的需求越來越高，成為當今數字時代必不可少的職業之一。

簡單來說，數據工程師通過對歷史數據的分析、解讀、建立模型，來對未來做更好的預測。一個龐大的數據分析團隊會將由不同數據工程師負責不同領域，並以 Airbnb 為例子，解釋數據工程師的工作內容：

  1. 數據收集：Airbnb數據工程師負責收集和處理各種數據，例如網站流量、用戶行為、房源信息等。通過收集和分析數據，數據工程師可以協助Airbnb更好地了解用戶需求和市場趨勢，從而推出更好的產品和服務。
  2. 數據分析：Airbnb數據工程師需要使用數據分析工具，例如Python和R等，對數據進行分析和可視化。分析結果可以幫助Airbnb理解用戶行為和需求，從而優化產品和服務，提高用戶體驗。
  3. 數據儲存：Airbnb數據工程師需要設計和實施數據儲存方案，以儲存大量的數據。例如，使用Hadoop、Spark等工具將數據存儲在分佈式文件系統或大型數據庫中。
  4. 數據可靠性：Airbnb數據工程師需要確保數據的準確性和可靠性。例如，設置數據驗證和檢查機制，以減少數據出錯的概率，從而保證數據的可靠性。
  5. 自動化：Airbnb數據工程師需要設計和實施自動化數據處理流程，以提高效率和減少錯誤。例如，使用Python等編程語言開發自動化數據處理腳本，從而減少人工操作和提高數據處理速度。

成為初級數據工程師的必備技能

硬技能

一位初級數據工程師通常具備以下數項基礎技能：

  • 編程能力：需要掌握至少一種主流的編程語言，例如 Python、Java、Scala 等，並能夠使用該語言進行數據處理、軟體開發、數據庫操作等。
  • 數據庫和 SQL：需要熟悉關係型數據庫，例如 MySQL、PostgreSQL 等，能夠使用 SQL語言進行數據庫的設計和操作。
  • Linux 和 Shell：需要熟悉 Linux 操作系統和 Shell 編程，能夠使用Linux命令行進行系統管理、文件處理、自動化等。
  • ETL和數據處理：需要熟悉ETL（抽取、轉換、加載）和數據處理技術，例如Apache NiFi、Airflow等，能夠使用這些工具實現數據的抽取、轉換和加載。
  • 版本控制：需要熟悉版本控制工具，例如Git、SVN等，能夠使用這些工具管理代碼版本和協作開發。
  • 數據安全：需要了解數據安全和隱私保護的基本知識，能夠確保數據的安全性和隱私性。

成為一個數據工程師聽起來好像很困難？然而，就讀電腦遊戲及動畫設計高級文憑課程的鍾浩然（Gary）在畢業後，從事平面及立體設計工作超過3年，在沒有背景的情況下參加 Generation HK 的初級數據工程師課程。如果你也有轉行的打算，不妨參考 Gary 的故事。

軟技能

數據工程師和網頁開發員一樣，除了需要不斷學習、懂得團隊合作、和解難能力外，更需具備以下軟技能：

  1. 創新思維：數據工程師需要具備創新思維，能夠提出新的解決方案和創新想法，幫助團隊更好地實現項目目標。
  2. 溝通能力：數據工程師需要具備良好的溝通能力，能夠清晰地表達自己的意見和觀點，以及理解和回應其他人的意見和反饋。
  3. 項目管理：數據工程師需要具備良好的項目管理能力，能夠管理項目進度、風險和資源，並能夠與項目利益相關者進行有效的溝通和協調。

閱讀更多：《Web Developer 入行指南，一文看清所需技能 、門檻、薪酬、行業前景》

數據工程師晉升階梯、薪酬

根據 Indeed 求職網站上的薪酬調查，數據工程師平均基本薪酬大約每月接近4萬港幣，視乎在什麼公司工作、工作範圍、職級和年資等決定因素。

職位月薪（HKD）年資
初級數據工程師～$ 26,0000-1 年
數據工程師～$ 33,0003 年以上
高級數據工程師～$ 45,0006-7 年

 

由於數據工程師需要精通編程語言，不少從 Clap@JC 和 Generation HK 合辦初級數據工程師課程的畢業生，畢業後也可轉職加入 IT 行業，以下是 Clap@JC 和 Generation HK 合辦初級數據工程師課程畢業生的職業選擇：

  • 軟件開發員（Software Developer）
  • 初級數據分析師（Junior Data Analyst）
  • 數據開發及管理人員（Data Developer and management）
  • 程式編寫員（Programmer）

初級數據工程師可以選擇甚麼工作崗位？

隨著企業數位化已是勢在必行，幾乎所有行業對數據科學人才的需求都是有增無減。初級數據工程師的選擇非常之多，而其中比較熱門的是以下行業：

  • 科技行業：科技行業對數據工程師的需求非常大，包括軟體、硬體、互聯網、科學研究等多個領域。
  • 金融行業：金融行業需要處理大量的數據，包括交易數據、風險數據、市場數據等，數據工程師可以負責設計和構建相應的數據管道和系統。
  • 醫療行業：醫療行業需要處理大量的醫療數據，例如病歷、檢驗、影像等，數據工程師可以負責構建和管理相應的數據庫和系統。
  • 零售行業：零售行業需要處理大量的銷售數據、庫存數據等，數據工程師可以負責構建和管理相應的數據管道和系統。
  • 媒體行業：媒體行業需要處理大量的用戶數據、瀏覽數據、廣告數據等，數據工程師可以負責構建和管理相應的數據管道和系統。

總之，初級數據工程師可以加入各種不同的行業，根據自己的興趣和專業技能選擇最適合自己的行業，並通過不斷學習和提升，在自己所在的行業中不斷發展和成長。

我能成為數據工程師嗎？

沒有學歷的普通人也有為數據工程師，但需要付出更多的努力和學習。成為數據工程師需要掌握多項技能，並且需要不斷學習和實踐，建立自己的作品集和項目經驗，進行不斷的技能更新和提升。做好以下準備，對你入行事半功倍。

履歷

一份好的履歷可以讓你輕鬆通過篩選獲得面試機會。如果你對自己的履歷沒有信心，可以參考 CV 360 ，網站會教你如何展示自己的優勢。一份良好的履歷應具備 “VASK” 4點：

Value（價值）：數據工程師需要能夠從海量的數據中提取有用的信息，為企業或組織創造價值，在數據處理和分析方面有獨特的見解和能力。

Altitute（態度）：數據工程師需要有積極主動的態度，對新技術和方法保持開放的態度，並具備良好的團隊合作和溝通能力，以及對工作的責任感和敬業精神。

Skill（技能）：數據工程師需要具備豐富的數據處理和分析技能，包括編程語言（如Python、Java等）、數據庫系統（如MySQL、MongoDB等）和大數據框架（如Hadoop、Spark等）的使用能力。此外，還需要具備數據清洗、轉換、分析和可視化等方面的技能。

Knowledge（知識）：數據工程師需要具備深入的數據知識和相關領域的專業知識，包括數學、統計學、計算機科學等方面的知識。同時，還需要掌握相關的行業知識，以便更好地理解數據的含義和價值。

面試

面試除了數據工程師的專業技能外，也注重求職者的軟技能，尤其考驗面試者的溝通和邏輯能力，詳情可參考以上「數據工程師所需要的軟技能」。

面試問題通常包括：

  1. 請描述一下你在數據處理和分析方面的經驗，並分享您的經驗和貢獻？
  2. 為什麼想加入這個行業/我們的公司？
  3. 有甚麼常用的網上工具，有助改善我們進行數據分析工作？
  4. 如果團隊成員不認可你的工作，你會怎樣做？
  5. 你如何處理大量數據的問題？
  6. 你如何確保數據的準確性和一致性？
  7. 你如何處理數據安全和隱私保護的問題？
  8. 你能舉一個你成功解決數據問題的例子嗎？

Portfolio（作品集）

通過建立作品集，直接向僱主展示你在數據分析的經驗和能力，但和網絡營銷及網頁設計不同，你沒有一個成品可以分享給僱主。因此，你可以展示自己的分析報告、分析流程、當中遇上的困難以及結論，讓僱主更了解你在數據分析方便的能力。

如果你從未進行過數據分析相關工作，不知道怎樣準備你的履歷、作品集和面試，請一定要留意接下來的內容。

如何從零學習數據分析知識？

和網頁開發和網絡營銷一樣，網上有大量可供自學關於數據分析的資料。但面試者要有基礎編程知識，這是初學者的門檻。如果你完全欠缺數據分析相關經驗和能力，可以通過以下途徑學習相關知識。

Bootcamp 

坊間也有不少數據分析課程，幫助零基礎人士從零起步轉型成數據分析師，就好像我們 CLAP@JC X Generation 舉辦 12 星期全日制初級數據工程師課程，培訓18-29歲年輕人掌握必要數據分析技術和專業技能。學員畢業後將獲工作面試的機會，課程內容包括：

  • 數據管道、數據收集
  • 數據處理和分析、分析工具
  • 數據視像化
  • Python
  • SQL
  • Azure
  • Agile
  • Pandas
  • PowerBI

你擔心 CLAP@JC X Generation 的初級數據工程師課程能否幫你入行？不如看看僱主 A&A Limited 僱主 Andy 怎樣評價我們的畢業生。

初級數據工程師課（第 7 期）資訊在此。