Informatica將無服務(wù)器計算帶到數(shù)據(jù)集成云

（文章來源：金馬科技）

在推出基于微服務(wù)的第二代智能云服務(wù)幾年之后，Informatica的最新季度版本終于發(fā)現(xiàn)了無服務(wù)器錯誤。它是一系列新功能中的一部分，這些新功能增加了用于管理數(shù)據(jù)管道和集成流傳輸?shù)男鹿δ堋?/p>

無服務(wù)器計算很自然地適合于數(shù)據(jù)攝取和集成過程，因為它們通常是成批運行的，并且根據(jù)來源的不同，它們也可能具有高度可變的資源消耗配置文件。無服務(wù)器的指導(dǎo)思想是消除提供“以防萬一”的能力來處理高峰的需求，系統(tǒng)會根據(jù)流量自動調(diào)整供應(yīng)。新的無服務(wù)器選項會自動擴(kuò)展，并已內(nèi)置到高可用性和恢復(fù)中?？蛻羧匀豢梢允褂没诜?wù)器的選項來處理可預(yù)測的長期運行的工作負(fù)載。

盡管無服務(wù)器通過讓系統(tǒng)自動配置資源來簡化用戶的生活，但缺點是成本可能無法預(yù)測。作為新的無服務(wù)器選件的一部分，Informatica提供了一個計算器，該計算器將機(jī)器學(xué)習(xí)應(yīng)用到新的工作負(fù)載中，從而根據(jù)客戶對性能(通過并行處理)還是成本(通過單個節(jié)點)進(jìn)行優(yōu)先級估算成本。

借助無服務(wù)器，Informatica從基于云的服務(wù)中竊取了一個頁面，這些服務(wù)已經(jīng)使無服務(wù)器成為基于數(shù)據(jù)管道的ETL和集成產(chǎn)品的主要內(nèi)容。其中包括AWS Glue，Azure數(shù)據(jù)工廠，Google Cloud Data Fusion甚至Databricks，它們添加了無服務(wù)器選項。

一個相關(guān)功能是應(yīng)用機(jī)器學(xué)習(xí)來幫助組織合理化其數(shù)據(jù)管道。由于基于云的低代碼/無代碼工具幾乎很容易構(gòu)建管道，因此客戶可以輕松地構(gòu)建令人困惑的一次性項目。Informatica的新工具將對管道進(jìn)行內(nèi)部檢查，掃描數(shù)據(jù)源，操作和目標(biāo)，以識別哪些管道使用類似的轉(zhuǎn)換模式，并指導(dǎo)用戶構(gòu)建可配置的模板，以減少擴(kuò)散并使它們更易于配置和維護(hù)。

而且，在攝取流時，Informatica新增了一項功能，可以掃描Kafka存儲庫以跟蹤數(shù)據(jù)沿襲，就像對數(shù)據(jù)庫和文件源所做的一樣。在進(jìn)行數(shù)據(jù)準(zhǔn)備時，Informatica的云服務(wù)可以推薦加入。Informatica的云ETL服務(wù)的可視化集成設(shè)計器通過推薦基于掃描源和目標(biāo)的轉(zhuǎn)換操作，進(jìn)而從數(shù)據(jù)準(zhǔn)備中竊取了頁面。

在增量更新中，去年推出的數(shù)據(jù)質(zhì)量服務(wù)中增加了重復(fù)數(shù)據(jù)刪除功能。盡管重復(fù)數(shù)據(jù)刪除對于Informatica來說并不是什么新事物，但以前它只能在本地使用，也可以作為自帶許可證(BYOL)支持的一部分，以在Amazon EC2或其他云基礎(chǔ)設(shè)施服務(wù)上運行Informatica Data Quality。通過菜單，用戶可以選擇元數(shù)據(jù)的邏輯或物理視圖，從而為數(shù)據(jù)工程師，業(yè)務(wù)分析師和數(shù)據(jù)科學(xué)家提供了多種視圖，從而增強(qiáng)了目錄的功能。該目錄已從數(shù)據(jù)庫資源的常規(guī)花名冊擴(kuò)展到從Microsoft Power BI，Qlik Sense，AWS Glue，Google Cloud，Snowflake等云服務(wù)中檢索元數(shù)據(jù)，以及其他來源。

春季發(fā)布的結(jié)果是使用基礎(chǔ)圖形數(shù)據(jù)庫公開了客戶主數(shù)據(jù)，該數(shù)據(jù)庫提供了一種更直觀的表示和探索客戶關(guān)系的方式。新版本現(xiàn)已在AWS，Azure以及Google Cloud的 beta版中可用。
（責(zé)任編輯：fqj）