數據工程師Data Engineer 第2集:數據工程的功用,數據職業金字塔 [數據工程師系列]

数据工程师日记
8 位粉絲
3 次觀看·2024年2月1日
在這個視頻中,我將介紹什麼是數據工程師以及成為一名數據工程師所需要具備的技能和知識。無論你是剛剛入門還是已經有一些經驗,這個視頻都會為你提供有價值的信息。
內容大綱:
- 數據工程的功用
- 數據職業金字塔
如果你對數據領域感興趣,或者想要成為一名數據工程師,這個視頻將為你提供一些指導。
請記得訂閱我的頻道以獲取更多與數據工程相關的資源和教程。
有任何問題或建議,請在評論中留言。謝謝!
這些工程的數據和普通的事務性數據庫會有所差別,就是Transactional Database
就類似你在超市裡面每秒每分鐘都會有不同的人購買的紀錄
數據的進出是非常頻密的
如果是在數據倉庫裡面,通常是說在一天下來所有的Transaction
都會被輸入到數據倉庫裡面
更新的次數稍微比較低一點,數據的穩定性會比較大
對於做報告之類的人是相對比較友好的
因為數據的變化只是幾天比起一秒來計算
不過某些情況下Data Warehouse也可以不停的有數據進出
那是主要看公司對數據更新的要求有多高
那接著和ETL的處理,ETL其實是三個英文字的結合
就是Extract, Transform, Load
那基本上就是把數據從某個地方擷取
然後進行一些轉換,然後再儲存到你的Data Warehouse
這是一個蠻大的區塊,那我會在之後接下來提及
那接下來對於數據工程師特別重要的東西就是SQL和編程語言
那SQL本身就是Structured Query Language
那它是對一個數據庫的資訊,就是查詢資訊庫的一個語言
那它主要就是讓數據工程師和不同的數據庫進行對話
那就是如何告訴一個數據庫我們需要什麼類型的數據
就能通過SQL進行
那接著你也需要一些編程語言,例如Python和Java
那這些編程語言都能幫助你把數據從某個地方搬運到另外一個不同的地方
那中間還能進行各種轉換之類的處理
那接下來另外一個蠻重要的東西,就是蠻重要的一個技能
就是雲計算平臺Cloud,Cloud Computing
那最主要的這個在雲計算這個區塊裡面最主要的
最出名的就是有三大公司
那就是AWS,Amazon Web Services和Azure,那是屬於微軟Microsoft的雲計算
那第三個還有屬於Google的GCP,Google Cloud Platform
那他們就是透過這個雲計算,那個企業就能租借
他們屬於他們的數據中心或者是服務器去處理大量的數據
那和自身擁有的這個on-premises的這個服務器的好壞處呢
那我之後會找一期來聊一聊
那最主要這個雲計算的這個普及化呢
也能讓各大公司,甚至是startup,就是初創公司呢
能在非常快速的擁有這個非常大量的計算能力和儲存能力
那就是相對的你要啟動一個新的公司,新的計畫
相對來的成本時間就是比之前沒有雲計算的時代呢
就是簡單了很多
那最後一方面呢,就是我們需要了解到數據儲存的技術
那就是每一個時代都有不同的數據儲存方式
那每一種儲存方式都有各自的好與壞
那現在例如Hadoop和NoSQL
這就是已經是好一段時間的技術了
那Hadoop主要就是讓你分佈的將數據儲存在不同的服務器或電腦當中
那可是就是在使用者的介面來說
那是屬於一個數據,但是呢
其實那數據是分散的儲存在不同的服務器當中
就是因為這一個Hadoop開創性的技術呢
才能讓這個雲計算的雲或者是雲儲存技術得到另一個更高的提升
那今天中呢還有NoSQL
NoSQL其實就是說它是主要是給unstructured data
那就是說比起普通的那個數據庫呢
你會有一個非常硬性的那個格式
你每一個記錄呢都會硬性需要根據這個數據庫的那個格式
如果格式錯了,那你就是會遇到問題
可是NoSQL呢是屬於一個比較flexible
怎麼說呢
flexible的那個數據庫
它就讓你的可以更
沒那麼的不需要太格式化的方式去儲存這個數據
好那說了那麼多那我就到下一個
下一章就想聊一聊就是數據職業的金字塔
那這一張圖呢是我好幾年前看到的一張圖
那這主要是讓你看看數據行業中呢
不同的角色和職業路徑的可視化展示
那它展示了數據分析師的入門職位
到數據工程師和數據科學家等高級職位的這個職業發展
那瞭解這個金字塔呢就可以讓大家理解
你這個行業的工作任務主要是集中在哪一塊
那你對哪一塊特別有興趣呢
那能讓你在自己的職業發展能做出更好的決策
那你能從這個金字塔來看呢
從最底端的開始
你就能看到數據呢一開始都是從收集開始
就是從collection
那你會有從好多不同的地方得到你的數據
我們統稱為一個數據源吧
那你會有通過儀器這一方面產生的數據
login日誌sensor這個感應器
現在的是車輛啊手機啊等等
好多東西都有一個感應器
能產生數據
那還有external data
那從外部的或者是內部的
還有這個user generated content
那就是使用者他們所產生的這個內容吧
也是一個新產生的數據
那你在收集這個數據過後呢
你就需要將這個數據呢移動
移動就是搬動或者是儲存到某個地方
那你就能通過所謂的infrastructure
還有pipeline就是所謂的數據管道吧
還有ETL
那就是在每一個新的數據產生的時候呢
他們都會進行一系列的擷取轉換跟儲存
來將最新的數據和之前的數據呢
儲存到某個地方
例如你的數據庫或者是數據倉庫
那今天中呢這有提到一個structured and unstructured
那就是說有非常格式化的和一個非常不格式化
那格式化的東西呢其實就像我們說的excel
那其實是你能看到它是每一格一列一行
非常工整的這個資料
Unstructured就好像視頻嘛
視頻它其實是一個
它是一個不像
它不像excel那樣
它就是它有聲音
它有這個視覺的這個資料
等等摻雜的一個非常複雜的資料
那它的儲存方式就會稍微有所不同
那接下來呢你就會進行探索或轉換
那你就首先某些地方的資料進入你的
在產生的時候呢
它們也許是沒那麼乾淨或者是有一些出錯
那你就要進行了這一些清理和這個anomaly detection
那就是你要偵測到你的有一些錯誤吧
或者是有一些異常
你就要有這個機制去抓取這些異常的數據
那還有這個preparation
就是在這個數據這方面的準備呢
其實是在這個精緻塔當中呢
是非常重要的這個一環
那你基本上也就是說
你能看到它是在精緻塔的首三層
那接下來呢你就進行這個分析
然後標籤
那你就能把不同的數據跟著你的商業需求
進行融合或者是進行一些ML
就是Machine Learning的這個準備
