對于工業智能建模，人們經常會有一些誤解：建模過程是逐漸自動化的，難度越來越小，并且不需要太多的工作。但是，在實際構建數據驅動的工業智能模型時，我們獲得的數據經常存在許多問題。一般來說，在建模之前需要對數據進行預處理，并將其分類為適合構建機器學習模型的可靠數據。通常沒有用于數據預處理的標準過程，并且對于不同的任務和數據集屬性，它也有所不同。那么大數據預處理技術是什么？大數據預處理技術包含什么？

　　大數據預處理技術是什么？

　　大數據預處理技術主要是指完成對已接收數據的辨析、抽取、清洗、填補、平滑、合并、規格化及檢查一致性等操作。

　　因獲取的數據可能具有多種結構和類型，數據抽取的主要目的是將這些復雜的數據轉化為單一的或者便于處理的結構，以達到快速分析處理的目的。

　　大數據預處理技術包含什么？

　　通常數據預處理包含 3 個部分：數據清理、數據集成和變換及數據規約。

　　1.數據清理

　　數據清理主要包含遺漏值處理（缺少感興趣的屬性）、噪音數據處理（數據中存在錯誤或偏離期望值的數據）和不一致數據處理。

　　· 遺漏數據可用全局常量、屬性均值、可能值填充或者直接忽略該數據等方法處理。

　　· 噪音數據可用分箱（對原始數據進行分組，然后對每一組內的數據進行平滑處理）、聚類、計算機人工檢查和回歸等方法去除噪音。

　　· 對于不一致數據則可進行手動更正。

　　2.數據集成

　　數據集成是指把多個數據源中的數據整合并存儲到一個一致的數據庫中。

　　這一過程中需要著重解決 3 個問題：模式匹配、數據冗余、數據值沖突檢測與處理。

　　由于來自多個數據集合的數據在命名上存在差異，因此等價的實體常具有不同的名稱。對來自多個實體的不同數據進行匹配是處理數據集成的首要問題。

　　數據冗余可能來源于數據屬性命名的不一致，可以利用皮爾遜積矩來衡量數值屬性，對于離散數據可以利用卡方檢驗來檢測兩個屬性之間的關聯。

　　數據值沖突問題主要表現為，來源不同的統一實體具有不同的數據值。數據變換的主要過程有平滑、聚集、數據泛化、規范化及屬性構造等。

　　數據規約主要包括數據方聚集、維規約、數據壓縮、數值規約和概念分層等。

　　使用數據規約技術可以實現數據集的規約表示，使得數據集變小的同時仍然近于保持原數據的完整性。

　　在規約后的數據集上進行挖掘，依然能夠得到與使用原數據集時近乎相同的分析結果。

　　上述就是關于大數據預處理技術是什么，以及大數據預處理技術包含什么的全部內容介紹，想了解更多關于大數據預處理技術的信息，請繼續關注中培偉業。