雲計算Cloud Computing第4集： 數據湖和數據倉庫，數據湖與數據倉庫、數據庫、數據管理，安全合規全解析 [數據工程師系列]

好,說到雲計算和數據工程,免不了會提到數據壺和數據倉庫,英文就是Data Lake和Data Warehouse。 這兩個東西基本上就是數據科學非常重要的支柱。 因爲雲計算的出現和數據科學才能發展得那麼蓬勃,因爲它提供了一個非常好的支柱和數據能力去進行過去進行不到的大海量分析。 數據壺Data Lake能處存海量的原始數據,通常都是使用對象儲存,支持各種各樣的數據分析和處理工具。 它非常適合儲存半結構化和非結構化的數據,因爲基本上就是把原始數據上載到數據壺就行了。 數據倉庫就是用於儲存和查詢結構化的數據系統,通常是使用劣勢儲存以提高查詢的性能。 在亞馬遜提供的數據倉庫服務就叫做Amazon Redshift,谷歌就叫做Big Query, Microsoft就叫做Azure Synapse Analytics。 數據壺就是從不同的地方蒐集原始數據。 數據倉庫就是在不同的數據源提取數據,進行轉換,並轉換到數據倉庫容易分析的格式,再把它加載進數據倉庫。 分析師就能從倉庫讀取這些數據進行分析或視覺化。 這就是我們所提到的接下來分析的ETL流程。 這是從許多不同的數據源、金融、客戶關係軟件所提取的資料。 不同的資料都把資料加載到數據倉庫,進行查詢或分析。 數據庫本身會作爲一個單獨的主題,我會在接下來的影片跟大家更深入的解析。 比起數據倉庫和數據服務,數據倉庫也提供簡單的數據庫和數據管理服務。 數據庫可以在雲計算部署一個數據庫, 其他用戶可以在不同的地方查詢數據庫。 數據庫主要支持Postgres、SQL、Amazon、Aurora、DynamoDB、NodeSQL和非關係型數據庫。 數據庫主要有四種類型的儲存方式。 一是KeyValue,就是鍵和值的儲存關係。 二是ColumnFamily,以列來儲存。 Graph,就是關係型的圖表型數據庫, 就好像你用Facebook或者Twitter之間查詢哪一位用戶跟用戶之間的相互關係, 就能以圖表型的方式去儲存。 接下來就是文件型的儲存。 NodeSQL和普通的SQL分別處理不同類型的數據結構。 關係型數據就適於結構化數據,具有強大的事物處理能力。 NodeSQL就是處理半結構或非結構化數據,具有高度的擴展性。 它本身就是MongoDB和Cassandra。 我之後也會開一個新的影片來討論這方面的東西。 在說完儲存數據庫等等的方面, 我接下來就想提一下在雲計算的安全和合規性, 那就是Security and Compliance。 在雲計算方面,你只需要一個瀏覽器和一個賬戶, 你就能讀取或者使用很多不同的服務, 或者查詢很多其他區域的跨國性的數據庫的能力。 作爲一個企業,你當然是不希望每一個普通員工都有權限去查詢這些資料。 在不同的階級的員工,他們分別就應該需要有不同的權限, 以免大家在數據方面的管理上面會遇到很大的問題。 爲了提高安全性,有好幾個機制是能幫助管理員去確保安全, 那就是使用加強密碼。 多因素認證,英文叫做Multi-Factor Authentication。 如果你要登陸到你的賬戶,你需要使用手機確認APP去提供認證碼。 你也可以特別要求每個用戶定期更新密碼。 你也可以通過這個訪問控制Access Control和權限管理Permission Management去確保 只有授權的用戶可以訪問敏感的數據和資源。 這也是一個很大的項目和課題,也是會在之後的影片提及。 在數據的搬運中,爲了確保數據的私密性,你可以使用加密保護數據。 在傳送和儲存過程中,雲計算都有提供類似的服務, 去確保數據的隱私和合規性。 使用雲計算必須遵循法規和行業的標準,例如GDPR。 GDPR就是歐盟的General Data Protection Regulation,GDPR。 然後HIPAA等等,以保護用戶數據的隱私。 你需要定期進行合規性的審計和漏洞掃描,確保系統相符相關的安全標準。 這也是一個非常大的課題。 在使用雲計算,你需要有一個安全意識。 特別是管理員,你必須以最低的權限開始。 而是在使用當中,他們才向管理員申請不同服務和資源的權限, 才能最大化保護企業的資料應用等系統。