數據工程師面試準備指南 第1集：如何瞭解公司行業，規模並準備相關的資料 [數據工程師系列]

大家好,歡迎來到數據工程師日記。 在本系列,我將會跟大家介紹如何做數據工程師面試的準備。 我來談談如何準備不同流程的面試。 因爲我所有的數據工程師面試都是在英國進行, 所以我會在英國做一個數據工程師面試。 儘管在不同國家可能會有一些差異, 但大多數的面試的流程,我相信是可以互相使用的。 首先,第一件事,你必須要瀏覽不同的招聘網站或品牌或公司, 去了解他們的搜索是否有數據工程師的相關職業。 一般來說,數據科學家和數據分析師的角色是比較爲人所知。 相對的數據工程師,因爲技能和職責的特殊性, 可能沒有那麼多人瞭解或具備相關的職業。 在數據行業當中,它是競爭相對較低的行業。 不是說沒有競爭,而是比分析師和數據科學家的競爭稍微小一點。 這個說法也許在不同的公司的定位就會有俄意。 每一間公司對數據行業的看法都不一樣。 例如有些公司的數據分析師也可能會執行數據工程師的工作。 例如我之前在一箇中小型企業所擔任數據分析師時, 我也需要進行一些ETL的數據的截取、轉換和載入等。 相對的,這個經驗也提供了我轉換到數據工程師的經歷和保衛的經驗。 當你通過不同的公司的申請, 你可以提供你的CV履歷或者是客戶證據。 你最主要是要了解這些公司所在的行業。 例如你對這個行業對在生人員和環保特別有興趣。 你也許就能找一些關於風力或者是太陽能相關行業的公司。 如果你對在生人員和環保特別有興趣, 你也許就能找一些關於風力或者是太陽能相關行業的公司。 如果你對賭博特別排斥, 那也許博彩公司的數據工程師崗位就不太適合你。 主要你要對這個行業有興趣, 那你在數據工程師的職位上工作的纔會開心和順利。 這當然是最重要的。 避免與本身理念和原則相差太大的公司, 去申請這樣的公司, 也許雖然你能得到這個職位, 可以賺取這個的薪水不錯, 可是也許這個理念差別太大, 也許也會造成你在公司的不開心, 或甚至就沒有必要浪費時間。 在工作中產生的興趣是至關重要。 那當然你在瞭解這個行業當中, 你也可以去搜索一下這個行業所使用的數據類型。 因爲在不同的行業, 例如在Health Care、醫保這個方面, 或者是在金融方面, 或者是在製造業當中他們使用的數據, 類型都不太一樣。 所以你需要在根據這個公司各行業的行業, 去進行對他們的使用數據類型, 要進行更進一步的理解, 才能對你面試提供更大的幫助。 好,那一旦提交了申請, 基本上這個申請, 這個部分的內容是以公司建立聯繫, 或者是通過招聘網站去提供的信息相比輩。 那公司通常會聲稱自己對人才有一定的要求。 當然他們提供的信息可能不足以面對面試。 那當然他們有這個Job Description, 就會說明你作爲這個工程師, 你需要有什麼樣的技術, 然後最好有什麼樣的經驗等等的。 所以你在提交申請過後, 你需要做的就是一個非常簡單的事情, 就是對一些這些公司進行搜索, 瞭解他們的業務和規模, 以及他們是否可以在該行業有特別的認可度, 並深入瞭解在不同方面的表現, 與你的個人喜好有沒有是否契合。 那當然你能通過現在很多網站都有讓人去評分, 評分公司在各個方面的好壞, 例如薪資好不好,公司的文化好不好, 例如或者是公司的turnover, 員工更新的這個是否頻密, 那你就能大概對這公司產生的一些瞭解。 那當然你是在不同的公司工作, 他們都會有不同類型的規模的工作, 你都會在不同層次上, 例如國家級的,或者是一個區域級, 或者是國際上的這個趨勢和競爭者, 你都要對象, 那當然最好你能,如果是稍微比較大的公司, 你也去理解一下他們的產品, 或者是主要的產品, 然後他們在這個行業裏面的市佔力, 然後他們的競爭優勢,或者是盈利能力, 它有什麼互成何, 去讓這個公司保持這個盈利能力, 然後能在這個行業裏面的市佔力, 然後能在這個競爭者競爭之中如何不被打敗, 如何能確保本身是有這個賺錢的能力。 那在這簡單的這個搜索跟研究過後呢, 你基本上就可以相對的更瞭解這個公司, 這家公司是否適合自己。 那接下來呢,你就會看看這個公司呢, 它是屬於什麼規模的, 那規模可以用公司的員工人數來, 來進行一個分切割吧, 那首先也許就是初創公司, 你可以是一到十人的這個公司, 或者是它是一箇中小型企業的公司, 或者是大型跨國的企業。 那去了解這個公司的規模的好處呢, 是因爲在不同規模的公司呢, 他們的這個文化或者是工作的這個環境呢, 都有所不同, 例如在一個初創公司呢, 他們甚至也許連這個數據工程, 就是數據Data Team都沒有的情況下, 如果你加入這個公司呢, 你就是這個公司第一位數據的這個專業的這個員工, 那你就是他們就對這個職業的這個崗位的要求呢, 會有所不同, 那相對的你進入了一個大型跨國企業, 那也許他們本身已經有一個很完善的一個數據工程, 或者是一個數據團隊, 那你也許就是加入就是多一位數據工程師, 那這樣的情況下呢, 他們的這個待遇跟工作環境就會非常不同。 好, 那我們先談談一下這個初創公司吧, 那初創公司的好處呢, 跟壞處其實都有吧, 那基本上呢, 它有很大的自由度, 其實說自由度呢, 也許不是你本身或者是這個公司給予你很多自由度, 而是公司本身也是處於在一個摸索的這個過程, 所以你在這個公司工作的這個時候呢, 你會有遇到很多摸索跟碰壁的這個情況, 所以相對來說你會有很大的自由度, 例如你可以選擇不同的這個技術站, 你想要使用哪一個雲端供應商, 你想要使用哪一個技術, 因爲都還沒有先例嘛, 所以你就很可能就會去探索所有的這個可能性, 所以你就是這個自由度會相對大。 那當然呢, 你也因爲是初創的公司嘛, 你也可以參與和計劃這個設計和解決問題的這個理念, 所以因此這個靈活性能讓你跟這個公司的這個使命和產品呢, 產生比較高度的這個契合。 那另外一個特點呢, 就是說初創公司的這個部門分配可能是不太明確的, 那當然這個數據是非常比較屬於非常特定的一塊, 不過也許他們數據跟這個軟件工程師呢, 可能都是屬於一個團隊的, 因爲他們本身就是分工沒那麼明確, 也許在數據工程師呢, 加入這個團隊過後呢, 別人會期望你擔任數據工程, 然後數據分析, 甚至是數據科學的這個三個崗位呢, 都交給你一個人來去完成, 所以你會產生, 有時候會產生一些multitasking的這個情況。 那如果這個就是在適應能力比較弱的人呢, 可能就會產生一個挑戰, 因爲你相對在一個大公司工作呢, 這個初創公司也許這個壓力會稍微大一些。 那當然它的好處, 它就是說你在這個公司的早期呢, 加入這個加入, 那你有可能是可以拿到這個公司的這個股份, 或等等的這個非常有吸引力的選擇, 因爲如果你看好這個公司, 你看好它的產品和理念和未來的發展, 那你擁有它的股份, 和你拼命的這個爲這個公司打拼, 就當作是你本身投資在這個公司上面, 當它這個成功發展得很成熟的話呢, 它能成爲一個成長型的公司, 那你也許你的就是在你所收得到的這個回報呢, 相對就會大很多。 那當然這個風險都是雙刃刀吧, 就是風險也是可能會增加, 那如果初創公司的這個創意不足夠, 或者是你沒有這個足夠的資金支撐, 那或者是半途出現了這個競爭對手提出更好的解決方案, 那就會導致這些公司的這個競爭力的下降。 那所以呢, 在這個初創公司的這些CEO呢, 他們就很需要這個不團的探索不同的資金來源, 然後去想辦法維持這個初創公司的這個創造這個新產品的這個能力, 或者是獲利的這個能力。 那簡單來說呢, 初創公司呢, 你就是這個經歷會是很好, 因爲你可以同時間到可以接觸到很多不同的這個領域的這個知識或經驗。 那當然壓力會大一些, 可是如果在成功的初創公司上步入軌道過後呢, 也許你的這個收穫就是會可以是很豐厚的。 那我們現在來看看這個中小型企業, 那我本身呢, 就是在中小型企業工作的這個經驗比較多一些, 那因爲其中也是我比較喜歡這個中小型企業的原因呢, 就是他們的這個在部門的分佈相對明確, 業務和系統相對成熟後呢, 他們依然保持部分的這個自由度。 那這是一個對我, 在對工作要求呢, 這是非常非常吸引的一點。 那因爲呢, 你就是如果一切都非常固定的話呢, 你在進行要求改變上面, 你就會遇到很多挫折, 或者是你需要很多的這個justification才能去更改, 或者是嘗試更新的這個技術。 那如果是在中小型企業呢, 他們就是擁有這個就是公司比較小嘛, 那在轉型呢, 他們的那個成本呢, 跟時間上面呢, 就會比起搭公司呢, 就會稍微的小一些, 所以他們會有保持這個所謂的靈活度。 那比起初創的公司呢, 在中小型企業, 因爲他們的部門的分佈呢, 相對明確, 那我也就是說, 你可以通過和不同部門的這個交流, 或者是計劃的這個工作呢, 就是學習不同的相關知識。 那這是一個特別重要的東西, 因爲身爲工程師呢, 或者是在IT界工作的人呢, 大多數情況下, 你都會要不停的這個學習新知識, 因爲特別像數據工程這個相對年輕的這個行業呢, 他們他的那個技術呢, 會不停的, 新技術呢, 會不停的每一天都會有新的不同的技術。 那一方面呢, 一方面呢, 你不可能將所有技術的學會, 所以你只能盡你的所能呢, 就是去跟着這個去不斷的學習。 但在到一個程度的時候呢, 如果說你會跟其他數據工程師相比的話呢, 你需要有更特殊的這個一方面的這個知識呢, 那就是在這個業務上面的這個知識。 假如我是在, 例如我之前是在一個做光纖的這個internet網絡供應商的工作, 那你作爲數據工程師呢, 那你可能只需要這個雲端服務, 或者是這一些data pipeline這上面的這個知識。 但是如果你有額外的, 例如跟光纖如何安裝, 如何面對客戶他們光纖的這個科技呢, 就具有這個深入的瞭解呢, 那你就是能在不同的數據工程師, 在選擇特定行業的時候呢, 就是更爲突出。 那這就是能讓你呢, 進一步更有這個選擇工作的這個權利。 那我本身的經驗呢, 就是說我在加入之前的那間公司, 不久呢,我的這個經理呢, 就帶着我到on-site嘛, 就是到客人家外面, 就是看那個光纖的這個工程師, 如何去安裝佈置這個光纖, 然後如何穿越這個建築物, 並將連接用戶的終端設備。 那我在進行過這個實地考察過後呢, 他們這個經驗呢, 就讓我知道我手中所處理的數據, 原來是這樣產生的。 那就是作爲數據工程師呢, 你會對很多這個原數據, 或者是原始數據, raw data 會需要很多這個理解。 你需要了解你的這個用戶呢, 或者是需要些什麼東西。 那有這個行業物, 行業的這個知識呢, 你才能對這個數據進行最好的優化處理。 然後將最精緻的這個數據呢, 交給數據分析師, 或者是數據科學家呢, 去進一步進行這個分析, 或者是進行這個model的這個training。 那在中小型公司來說呢, 他們使用的這個第三方的軟件呢, 通常相對於大公司呢, 他們會通常會比較小。 不像大公司那樣, 有時候會需要和這個大客戶, 簽署長期的這個商業合同。 那就是說你能在短期內呢, 能相對短期內呢, 你能使用不同的這個供應商, 那也讓你在數據工程這邊呢, 有不同的這個解決方案的這個工作經驗。 就是不會被鎖定在某一個特定的供應商, 例如微軟的服務。 你可以中小型企業比較容易跳脫這個框架呢, 去嘗試不同的這個供應商, 也許能找到一個更高效, 或者是更低成本的這個供應商。 這也是對數據工程師說是一個挺有趣的這個挑戰。 好,在規模方面呢, 最後我們就說到大型的跨國企業。 那就比起前幾個規模呢, 這個大型規模肯定是業務和系統高度成熟。 那部門分配非常明確。 相對的就是工作內容會相對的固定。 那你不會通常一個部門的人就是比較有少的機會呢, 去和其他部門進行交流。 那主要也是看公司是怎麼樣的一個文化。 那其中一個稍微穩定的好處, 穩定是一方面它是好處, 可是在系統穩定的時候, 也許它就不是使用最新的技術。 維護呢,有時候也相對的困難, 因爲它會有很多Legacy Software。 那也許就是數據工程師他們會, 如果你是非常想追求新技術的這個數據工程師, 也許你的時間有一大部分是要負責去維護原有的Legacy Software。 所以這一方面是有時候稍微比較麻煩一點的一點。 那長期來看, 因爲大型公司進行系統更換或者是升級, 可能涉及到的成本會超過中小型企業很多。 所以他們會更傾向於使用已經相同的供應商和技術。 那你就在探索這個新技術的可能性就相對的比較小。 那無論是什麼樣的規模呢, 其實主要是看這個管理層對數據的重視的程度。 那無論是大、中、小的公司, 如果管理層對數據這一方面非常重視, 他們就可能投入大量的資金團隊在數據的系統上面。 如果一個大公司願意讓你再投資在一個系統的升級或進行系統遷移, 那對數據工程師就是非常有幫助的一個經驗, 因爲這種大型的計劃通常只有大型公司纔可以碰到的。 那當然在不同公司他們對數據的看法都是不太一樣的。 那當然因爲現在趨勢的關係, 大家都開始對數據的重要性有所增加。 但是你能在面試的時候就能問問這個面試官, 你們的公司是在什麼階段? 你是初創公司,也許它的核心業務就是以數據爲本。 那就是有時候英文他們所說的Data Driven, 就是以數據驅動的公司,數據就是他們的產品的根基。 那這個情況下,你在這個公司工作, 你就能預測到你的同事或他們都是對數據特別有了解的一羣人。 那如果你是在一個就算是中型公司, 那你有不同的部門,例如營銷部門, 或者是銷售部門,也許他們對數據要求的沒那麼高。 所以他們也許是在一半,就是對數據有所瞭解, 但是沒到太深入瞭解。 那作爲數據工程師或者數據分析師, 那其實也許就是要教育這些同事, 就是說你們在數據上面的運用保護, 或者是使用上面的這些知識, 你就是要跟這些同事分享。 或者是一個公司,他們終於瞭解數據的重要性, 可是他們裏面完全沒有一個數據行業的人才。 那這就是纔在起步的階段, 那這就是這個公司就會需要比較多的工作, 就去將大家去提升對數據的這個Awareness,認知。 好,那這個視頻的最後一部分, 我就先說說第一輪這個面試。 那基本上在英國,第一輪的面試, 都是跟這個Hiring Manager, 就是面試官進行第一輪的這個電話上的這個交流。 那基本上呢,他就會跟你, 就先叫雙方就先自我介紹, 然後就先介紹一下公司, 然後呢,提供這個工作崗位所負責的內容, 然後也可以讓你瞭解一下團隊的規模是怎麼樣的。 那這個第一輪呢,通常都是稍微的就是Informal, 就是沒那麼公司化, 就是比較像一個交談的那個方式。 那通常呢,就是我會有將自己本身的經歷呢, 先說一次,然後呢, 很簡單的就是分享我是如何創建一個, 例如Data Pipeline, Data Pipeline如何將使用什麼技術呢, 例如Python去Query一個API, 把資料拉出來,然後再把它放到一個數據庫, 或者是數據倉庫, 然後呢,再使用Power BI或者是Tablo, 接連接到這個數據庫, 然後能將這個報告呢,就是分享給我的用戶。 那這個非常簡單的這個Data Pipeline的這個例子呢, 就能讓他知道, 你知道你需要使用什麼技術, 去進行這個數據的截取轉換跟這個載入。 那他就能大概的理解到, 你的這個背景跟技術呢, 是否跟他們所尋找的這個崗位的這個人呢, 是否契合。 那當然第二輪呢, 你就會進行這個大多數就是所謂的這個Technical Interview, 就是說他們就會通過各種不同的這個方式呢, 去測試你對你的這些技術方面的這個能力。 那這個也許我留到下一個影片再說。 那最主要的第一輪就是非常簡單的進行交流, 瞭解工作公司文化。 然後接下來呢,你也可以瞭解這個公司呢, 你這個崗位呢,你主要是對內呢還是對外。 你是說你的客戶是你只是公司本身的人, 還是你所創建的這個數據系統呢, 是會有第三方或者是外面的客戶會進行使用的。 那這是一個非常重要的這個環節。 那如果你本身是屬於比較在溝通上面會比較害羞的人, 也許你就會比較選擇一個是對內的這個公司部門, 對內的這個環境。 那就不需要跟直接的跟那些客戶進行這個太平密的這個溝通。 那但是作爲這個數據工程師呢,溝通呢, 也是一個非常重要的技能。 那這是如果你要在面試成功的話, 你也需要具備一定的這個溝通能力。 然後呢,纔會被進入到下一輪。 那本期視頻呢,我就先說到第一輪。 那接下來呢,我會再做第二個是關於第二輪或者是第三輪的這個面試。 然後再希望可能看看總結一下這個數據工程師面試的這個整個流程。 那希望大家這個影片呢,能給大家一些比較多的這個理解。 那也許我說的就是比較比較大範圍的, 就是說沒說到特別仔細。 不過這是我個人的觀點, 跟我在經歷不同面試過後呢,所得到的一個心得。 那希望大家會喜歡。 那如果你有信心,你覺得這個影片對你有幫助的話呢, 你能點贊分享。 留個言,就是說也許你可以分享你的這個面試的這個經歷, 或者是你可以提問,就是說看我沒有提到的那幾個點。 如果你需要我深入的再去講解的話呢,請麻煩在下面留言。 那我們下一批視頻,下一批,下一個視頻再見。 拜拜。