數(shù)據(jù)采集入門常見的數(shù)據(jù)類型

作者 | Brian E. Bolton

收集關鍵數(shù)據(jù)是一項挑戰(zhàn)，但制造企業(yè)可以通過一些有效的方法應對這些挑戰(zhàn)并獲得收益。

制造企業(yè)正在積極開展項目優(yōu)化以實現(xiàn)流程自動化，高效地收集和記錄數(shù)據(jù)，并以關鍵績效指標（KPI）或衡量標準的形式報告結(jié)果，從而為其業(yè)務帶來重要的價值提升。然而，在這一過程中，他們遇到了許多收集和存儲數(shù)據(jù)的方法，并不得不從眾多軟件和硬件供應商中做出選擇。

每個第三方供應商都有各自專注的特定應用領域，使其提供的服務對需要的公司更具吸引力。畢竟，從鍋爐中收集系統(tǒng)關鍵數(shù)據(jù)與從生產(chǎn)輪胎的過程中收集數(shù)據(jù)大不相同。

從多個第三方供應商的數(shù)據(jù)收集系統(tǒng)中選擇，也給制造商帶來了挑戰(zhàn)。工作人員必須處理多個歷史數(shù)據(jù)庫和多個程序，才能訪問公司數(shù)據(jù)并進行分析和報告。

要克服這些數(shù)據(jù)采集方面的挑戰(zhàn)，必須對各種數(shù)據(jù)源、類型和格式進行審查。同樣重要的是，研究最佳實踐以采集系統(tǒng)的關鍵數(shù)據(jù)并將其存儲到一個中心位置，以便于日后訪問。

01

來自資產(chǎn)或元件的數(shù)據(jù)源

數(shù)據(jù)是在過程的不同位置和來源生成的。這些數(shù)據(jù)表明設備和過程目前正在發(fā)生的事情。來自資產(chǎn)或原件的數(shù)據(jù)源，通常通過可編程邏輯控制器（PLC）、監(jiān)控和數(shù)據(jù)采集（SCADA）系統(tǒng)、分布式控制系統(tǒng)（DCS）、關系數(shù)據(jù)庫、實驗室信息管理系統(tǒng)（LIMS）甚至手動記錄器，以數(shù)字或模擬數(shù)據(jù)的形式呈現(xiàn)。然后將數(shù)據(jù)存儲在數(shù)據(jù)庫或歷史數(shù)據(jù)庫中。

一個最佳實踐是收集所需或期望的系統(tǒng)數(shù)據(jù)，并使用歷史數(shù)據(jù)庫將其存儲在某個位置。為了完成這項具有挑戰(zhàn)性的任務，需要安裝并配置接口節(jié)點。接口節(jié)點通常設置在數(shù)據(jù)源所在的網(wǎng)絡上，并利用接口或連接器獲取數(shù)據(jù)并將其寫入歷史數(shù)據(jù)庫。

現(xiàn)在的大多數(shù)技術都允許實時處理和呈現(xiàn)來自數(shù)據(jù)源的數(shù)據(jù)。雖然并非在所有情況下都需要實時數(shù)據(jù)，但當事情開始朝著錯誤方向發(fā)展時，如果可以在資產(chǎn)或元件層以外的地方對數(shù)據(jù)做出響應，就可以減少響應時間。具有通知的實時數(shù)據(jù)有助于預防各種事件，例如：

■當儲罐中沒有足夠的空間時，產(chǎn)品被泵送到儲罐中；

■儲罐中的產(chǎn)品未能冷卻至所需的溫度；

■熱氧化器溫度下降超出許可范圍；

■催化轉(zhuǎn)化器中的熱點檢測；

■過程空氣壓力損失。

從一個數(shù)據(jù)庫收集、存儲和分析來自多個來源的數(shù)據(jù)，可以使關鍵數(shù)據(jù)的處理和通信更容易，也更一致。

02

常見的數(shù)據(jù)類型

在決定采集和存儲哪些數(shù)據(jù)時，重要的是要知道來自資產(chǎn)或元件的數(shù)據(jù)類型，采集數(shù)據(jù)并將其存儲在數(shù)據(jù)庫中需要什么，以及是否有任何限制。有許多數(shù)據(jù)類型需要考慮，包括：

■整型–無分數(shù)的數(shù)字數(shù)據(jù)類型；

■浮點–帶分數(shù)的數(shù)字數(shù)據(jù)類型；

■字符–單個字母、數(shù)字、標點符號、符號或空格；

■字符串–字符、數(shù)字或符號的序列–始終作為文本處理；

■布爾值–真值或假值；

■枚舉型–預定義的唯一值（元素或枚舉器）的小集合，可以是基于文本的或數(shù)字的；

■數(shù)組–按特定順序列出多個元素，通常為相同類型；

■日期–以YYYY-MM-DD格式顯示的年月日（ISO 8601語法）；

■時間–以hhss格式表示一天中的時間、事件發(fā)生后的時間或事件之間的時間間隔；

■日期時間–日期和時間，格式為YYYY-MM-DD hhss；

■時間戳–自1970年1月1日午夜（0000 UTC）（Unix時間）以來經(jīng)過的秒數(shù)。

03

不同的數(shù)據(jù)格式

數(shù)據(jù)格式（或文件格式）通常作為數(shù)據(jù)文件存儲在深度存儲系統(tǒng)中，不同的文件格式采用不同的壓縮算法，可為特定用例帶來好處。例如，數(shù)據(jù)湖中的數(shù)據(jù)存儲方式至關重要，而格式、分區(qū)和壓縮則是成功的驅(qū)動力。

以下是一些常見數(shù)據(jù)文件格式及其不同的特點：

CSV：當需要兼容性、電子表格處理和可讀數(shù)據(jù)時，這類數(shù)據(jù)文件是一個很好的選擇。缺點是數(shù)據(jù)必須是扁平的。扁平數(shù)據(jù)庫是一個基本的列/行數(shù)據(jù)庫，歷史記錄是相關的，這意味著數(shù)據(jù)可以基于時間戳或其它“關鍵”標準來自數(shù)據(jù)庫中的不同位置。

JSON：當需要嵌套格式（即與父數(shù)據(jù)集的當前行保持同步的特殊數(shù)據(jù)集）時，JavaScript對象表示法（JSON）是一種很好的方法，可用于多個應用程序編程接口（API）。不過，在某些情況下JSON可能比較難讀，尤其是不熟悉結(jié)構(gòu)化查詢語言（SQL）或其他編程語言的人。

Avro：它用于以二進制格式存儲行數(shù)據(jù)，使其結(jié)構(gòu)緊湊且高效。它以JSON格式存儲，使其更容易被任何程序讀取和解釋。

Parquet：這是一種柱狀存儲文件格式，與Hive插件配合使用效果更好。它用于有效地存儲大型數(shù)據(jù)集。

文件格式在很大程度上取決于所使用的系統(tǒng)。選擇文件格式時需要考慮一些重要的因素，例如：數(shù)據(jù)結(jié)構(gòu)、性能、可讀性、壓縮、模式以及兼容性。

04

制定戰(zhàn)略性數(shù)據(jù)采集方法

為了克服數(shù)據(jù)獲取方面的挑戰(zhàn)，制造企業(yè)需要一個精心規(guī)劃和易于執(zhí)行的解決方案，將數(shù)據(jù)收集、分析和溝通提升到一個新的層次，同時獲得更多的投資回報（ROI）。雖然有許多選項可用于收集、分析和交流關鍵數(shù)據(jù)，但從單個位置提取所需的數(shù)據(jù)往往是最容易實現(xiàn)的。

如果數(shù)據(jù)無法存儲在中央歷史記錄/數(shù)據(jù)庫中，則可以使用報告工具從多個來源提取關鍵數(shù)據(jù)，并在單個報告中報告該數(shù)據(jù)。能根據(jù)事件或?qū)?shù)據(jù)工況做出反應，并生成通知/報告提交給合適的人員，可以幫助企業(yè)節(jié)省寶貴的時間和成本。

大多數(shù)制造企業(yè)很難做到將所有數(shù)據(jù)帶到同一個位置，尤其是在資源有限的情況下。處理如此規(guī)模的項目通常需要咨詢具有專業(yè)知識和工具的第三方合作伙伴，以將此類項目整合在一起。專業(yè)的合作伙伴可以提供數(shù)據(jù)采集系統(tǒng)和軟件的整體視圖，同時幫助審查供應商的各種選項，包括歷史記錄和數(shù)據(jù)分析工具。

了解各種數(shù)據(jù)源、類型和格式并使用最佳實踐，可以幫助制造商更輕松地訪問和分析中央數(shù)據(jù)存儲庫中的關鍵系統(tǒng)數(shù)據(jù)。這樣做有助于企業(yè)更快地實現(xiàn)預期的商業(yè)收益，并在競爭中保持領先地位。

編輯：黃飛