方案

工業(yè)數(shù)字化轉(zhuǎn)型中的數(shù)據(jù)治理

> 隨著數(shù)據(jù)資源的爆炸性增長，企業(yè)面臨著數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一、**數(shù)據(jù)信息分散、數(shù)據(jù)質(zhì)量參差不齊、開發(fā)維護困難**等問題，很難滿足實時分析和決策的高要求。因此，數(shù)據(jù)治理對于工業(yè)互聯(lián)網(wǎng)的發(fā)展至關(guān)重要。隨著數(shù)據(jù)資源的爆炸性增長，企業(yè)面臨著數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一、數(shù)據(jù)信息分散、數(shù)據(jù)質(zhì)量參差不齊、開發(fā)維護困難等問題，很難滿足實時分析和決策的高要求。因此，數(shù)據(jù)治理對于工業(yè)互聯(lián)網(wǎng)的發(fā)展至關(guān)重要。

### 1 數(shù)據(jù)治理發(fā)展現(xiàn)狀

1.1數(shù)據(jù)治理的相關(guān)概念

數(shù)據(jù)治理是組織中對數(shù)據(jù)使用和管護的管理行為，其本質(zhì)是指導(dǎo)、評估和監(jiān)督數(shù)據(jù)的管理和利用，通過制定數(shù)據(jù)標(biāo)準(zhǔn)體系，提高數(shù)據(jù)的質(zhì)量，并為組織提供不斷創(chuàng)新的數(shù)據(jù)服務(wù)，以提高數(shù)據(jù)的價值密度。數(shù)據(jù)治理內(nèi)容主要包括**元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)生命周期管理、數(shù)據(jù)組織、數(shù)據(jù)安全和數(shù)據(jù)服務(wù)**等模塊，不同模塊功能明確、相互協(xié)同，共同打造統(tǒng)一調(diào)度、精準(zhǔn)服務(wù)、安全可用的信息共享服務(wù)體系。

1.2數(shù)據(jù)治理的發(fā)展歷史

數(shù)據(jù)治理的發(fā)展歷史可分為三個階段。第一階段為早期探索階段，1988年麻省理工學(xué)院啟動的全面數(shù)據(jù)質(zhì)量管理計劃形成了數(shù)據(jù)治理的雛形。同年，國際數(shù)據(jù)管理組織協(xié)會(DAMA)成立。2002年，數(shù)據(jù)治理概念在學(xué)術(shù)界嶄露頭角，美國兩位學(xué)者結(jié)合兩家公司的實踐結(jié)果提出數(shù)據(jù)治理研究方向，由此拉開了數(shù)據(jù)治理在企業(yè)管理中的大幕。第二階段為理論研究階段，2003年國際數(shù)據(jù)治理研究所成立，主要研究數(shù)據(jù)治理理論框架，與國際標(biāo)準(zhǔn)化組織合作對數(shù)據(jù)治理進行定義。2009年，DAMA發(fā)布數(shù)據(jù)管理知識體系指南，基本確定數(shù)據(jù)治理的理論框架。第三階段為廣泛接受與應(yīng)用階段，隨著數(shù)據(jù)倉庫的建設(shè)，國內(nèi)也逐步開始接受數(shù)據(jù)治理的理念，并在2015年提出了《數(shù)據(jù)治理白皮書》國際標(biāo)準(zhǔn)研究報告。

2020以來，數(shù)據(jù)治理在公共管理、科學(xué)研究與工商業(yè)等領(lǐng)域得到廣泛應(yīng)用，以數(shù)據(jù)為核心的“互聯(lián)網(wǎng)+”體系日益彰顯數(shù)據(jù)治理的價值，為進一步推動數(shù)據(jù)治理的發(fā)展，美國、歐盟紛紛頒布圍繞數(shù)據(jù)使用與保護的公共政策。我國也相繼出臺了《中國制造2025》《關(guān)于深化“互聯(lián)網(wǎng)+先進制造業(yè)”發(fā)展工業(yè)互聯(lián)網(wǎng)的指導(dǎo)意見》等相關(guān)政策以促進工業(yè)互聯(lián)網(wǎng)發(fā)展，進一步體現(xiàn)了工業(yè)數(shù)據(jù)治理的必要性。

1.3工業(yè)數(shù)據(jù)治理探索

**工業(yè)生產(chǎn)制造主要包括設(shè)備故障預(yù)警、異常實時告警、異?；厮荨a(chǎn)品穩(wěn)定性和生產(chǎn)效率優(yōu)化等業(yè)務(wù)場景**。隨著智能制造、工業(yè)互聯(lián)網(wǎng)等戰(zhàn)略政策的深入推進，工業(yè)企業(yè)積累了大量的數(shù)據(jù)，為不同業(yè)務(wù)場景下的數(shù)據(jù)分析提供高質(zhì)量的數(shù)據(jù)接口，使得開展工業(yè)數(shù)據(jù)治理成為核心問題。本文將以**工業(yè)數(shù)據(jù)為核心，以數(shù)據(jù)治理為方法，以業(yè)務(wù)應(yīng)用為目的，構(gòu)建面向工業(yè)生產(chǎn)制造的數(shù)據(jù)治理體系，并通過案例實踐驗證數(shù)據(jù)治理的成效**。

### 2 工業(yè)數(shù)據(jù)治理體系

2.1工業(yè)數(shù)據(jù)態(tài)勢

2.1.1工業(yè)數(shù)據(jù)來源

工業(yè)數(shù)據(jù)可劃分為操作技術(shù)數(shù)據(jù)(OT)和信息技術(shù)數(shù)據(jù)(IT)。OT數(shù)據(jù)是工業(yè)數(shù)據(jù)的主要部分，源自工業(yè)生產(chǎn)機器設(shè)備、自動化采集系統(tǒng)等，包含時序數(shù)據(jù)和非時序數(shù)據(jù)。時序數(shù)據(jù)包括溫度、壓力、流量等數(shù)據(jù)。非時序數(shù)據(jù)包括工業(yè)系統(tǒng)的日志數(shù)據(jù)以及生產(chǎn)調(diào)控的經(jīng)驗數(shù)據(jù)。IT數(shù)據(jù)主要包括企業(yè)資源計劃(ERP)、制造執(zhí)行系統(tǒng)(MES)等業(yè)務(wù)數(shù)據(jù)。其中ERP系統(tǒng)主要包括財務(wù)、客戶關(guān)系、供應(yīng)鏈管理等數(shù)據(jù)，MES系統(tǒng)位于上層ERP層與底層控制層之間，主要包括生產(chǎn)調(diào)度、質(zhì)量管理、人員管理等數(shù)據(jù)。

2.1.2工業(yè)數(shù)據(jù)特點

**“隔離性”**。工業(yè)數(shù)據(jù)來自多道工序的多臺設(shè)備，設(shè)備獨立工作以及工序間數(shù)據(jù)互不流通，形成一座座“數(shù)據(jù)孤島”。

**“多模態(tài)”**。工業(yè)數(shù)據(jù)來源多樣，結(jié)構(gòu)復(fù)雜。除工業(yè)生產(chǎn)中所采集的溫度、壓力、流量等時序數(shù)據(jù)之外，還包括檢測火焰溫度等的紅外熱成像視頻數(shù)據(jù)。

**“強關(guān)聯(lián)”**。工業(yè)數(shù)據(jù)中的關(guān)聯(lián)主要包括：生產(chǎn)指標(biāo)間的關(guān)聯(lián)，如原料燃料流量、溫度、壓力的關(guān)聯(lián)；生產(chǎn)過程的關(guān)聯(lián)，如生產(chǎn)工序間的工藝參數(shù)關(guān)聯(lián)關(guān)系；產(chǎn)品設(shè)計制造等環(huán)節(jié)之間的關(guān)聯(lián)，如仿真過程與產(chǎn)品實際工況間的關(guān)聯(lián)。

**“高通量”**。傳感器所采集的時序數(shù)據(jù)具有設(shè)備多、測點多、頻率高、吞吐量大、連續(xù)不間斷的特點。以某工業(yè)生產(chǎn)設(shè)備為例，數(shù)據(jù)采樣頻率為10Hz，單臺設(shè)備每秒產(chǎn)生16KB的傳感器數(shù)據(jù)，按20臺設(shè)備全量采集計算，每日將產(chǎn)生約12.87GB的數(shù)據(jù)，每年將產(chǎn)生4.58TB的數(shù)據(jù)，呈現(xiàn)出“高通量”的特征。數(shù)據(jù)帶來巨大的存儲成本，還存在銜接不連貫、標(biāo)準(zhǔn)不統(tǒng)一、數(shù)據(jù)不對齊、“臟”數(shù)據(jù)等質(zhì)量問題，無法為數(shù)據(jù)分析提供有效接口，如何提升數(shù)據(jù)價值密度、提高數(shù)據(jù)挖掘效率是現(xiàn)階段亟待解決的問題。

2.2工業(yè)數(shù)據(jù)治理體系研究

2.2.1頂層框架設(shè)計

數(shù)據(jù)治理是工業(yè)數(shù)字化轉(zhuǎn)型之路的關(guān)鍵，數(shù)據(jù)治理工作的落地有助于提升數(shù)據(jù)價值密度、提高數(shù)據(jù)挖掘效率，更好服務(wù)靈活多變的業(yè)務(wù)場景，為數(shù)據(jù)分析提供有效接口。目前，數(shù)據(jù)治理體系的研究相當(dāng)成熟，可適應(yīng)于不同的應(yīng)用場景。本文在借鑒通用數(shù)據(jù)治理體系的基礎(chǔ)上，結(jié)合工業(yè)數(shù)據(jù)的數(shù)據(jù)源、數(shù)據(jù)特點及業(yè)務(wù)場景等核心要素，搭建面向工業(yè)生產(chǎn)的數(shù)據(jù)治理體系，如圖1所示。
![](/upload/picture/2022-11-01/upload_6b364eef99dda05ad280172249465873.png)
圖 1數(shù)據(jù)治理體系框架

為保證數(shù)據(jù)資產(chǎn)不流失，對源數(shù)據(jù)和分析數(shù)據(jù)進行物理隔離，源數(shù)據(jù)按照原始格式保留存儲在本地服務(wù)器中，分析數(shù)據(jù)則經(jīng)過數(shù)據(jù)治理后進行存儲，對非必要數(shù)據(jù)進行歸檔或銷毀。該數(shù)據(jù)治理體系框架囊括元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)生命周期管理、數(shù)據(jù)組織、數(shù)據(jù)安全及數(shù)據(jù)服務(wù)環(huán)節(jié)，環(huán)節(jié)間相互協(xié)同和依賴，形成全方位、多層次、多角度的數(shù)據(jù)治理框架。

2.2.2元數(shù)據(jù)管理

元數(shù)據(jù)的定義是“關(guān)于數(shù)據(jù)的數(shù)據(jù)”，元數(shù)據(jù)反映了數(shù)據(jù)的交易、事件、對象和關(guān)系等。通過元數(shù)據(jù)管理可繪制數(shù)據(jù)地圖、統(tǒng)一數(shù)據(jù)口徑、標(biāo)明數(shù)據(jù)方位、分析數(shù)據(jù)關(guān)系以及精確到字段級別的影響分析，方便數(shù)據(jù)的跟蹤和回溯。
![](/upload/picture/2022-11-01/upload_93255c97b149e689c9219160bcf44e64.png)
圖 2工業(yè)元數(shù)據(jù)管理

在工業(yè)領(lǐng)域中，元數(shù)據(jù)主要包括技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)，如圖2所示。其中技術(shù)元數(shù)據(jù)具體為：物理資源的元數(shù)據(jù)(服務(wù)器、操作系統(tǒng)等)、數(shù)據(jù)源元數(shù)據(jù)(網(wǎng)關(guān)地址等)、存儲元數(shù)據(jù)(指標(biāo)說明、數(shù)據(jù)結(jié)構(gòu)、存儲屬性、管理屬性等)、共享元數(shù)據(jù)(接口方式、格式等)等方面；業(yè)務(wù)元數(shù)據(jù)具體為：模型元數(shù)據(jù)(特征工程、評估標(biāo)準(zhǔn)等)、分析元數(shù)據(jù)(業(yè)務(wù)流程、業(yè)務(wù)規(guī)則等)方面?；诠I(yè)元數(shù)據(jù)管理，可構(gòu)建元模型進行元數(shù)據(jù)自動化采集，實現(xiàn)企業(yè)信息化資產(chǎn)梳理、數(shù)據(jù)地圖、數(shù)據(jù)血緣分析等功能。

2.2.3主數(shù)據(jù)管理

主數(shù)據(jù)是指滿足跨部門、跨業(yè)務(wù)協(xié)同需要的系統(tǒng)共享數(shù)據(jù)，在各個業(yè)務(wù)部門中被重復(fù)使用，如客戶、供應(yīng)商、資產(chǎn)、產(chǎn)品、物料單、賬戶等數(shù)據(jù)。工業(yè)主數(shù)據(jù)管理流程由業(yè)務(wù)治理、標(biāo)準(zhǔn)治理、質(zhì)量治理組成，如圖3所示。
![](/upload/picture/2022-11-01/upload_158955e35bb487620cec04b0633121ff.png)
圖3工業(yè)主數(shù)據(jù)管理

在工業(yè)制造領(lǐng)域中，主數(shù)據(jù)結(jié)合物聯(lián)網(wǎng)數(shù)據(jù)可以實現(xiàn)不同的業(yè)務(wù)場景需求。例如，若要了解或預(yù)測物料的庫存情況以提高生產(chǎn)調(diào)度效率，可將原料消耗的傳感器數(shù)據(jù)與物料單主數(shù)據(jù)進行關(guān)聯(lián)分析，從而感知到物料的庫存情況。因此，通過將高價值、高共享、相對穩(wěn)定的主數(shù)據(jù)與物聯(lián)網(wǎng)數(shù)據(jù)相關(guān)聯(lián)，結(jié)合機器學(xué)習(xí)、深度學(xué)習(xí)等算法，可實時評估企業(yè)的生產(chǎn)運營情況以做針對性的調(diào)整。

2.2.4數(shù)據(jù)標(biāo)準(zhǔn)管理

數(shù)據(jù)標(biāo)準(zhǔn)管理的目標(biāo)是設(shè)計一套標(biāo)準(zhǔn)體系，包括數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)、數(shù)據(jù)操作標(biāo)準(zhǔn)、數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn)，形成一個可流通、可共享的信息平臺。數(shù)據(jù)標(biāo)準(zhǔn)主要由業(yè)務(wù)定義、技術(shù)定義和管理信息三部分構(gòu)成，業(yè)務(wù)定義包括業(yè)務(wù)、名稱和接口等方面的定義，技術(shù)定義包括數(shù)據(jù)類型、數(shù)據(jù)結(jié)構(gòu)等方面的定義，管理信息包括所有者、管理人員等方面的定義，如圖4所示。
![](/upload/picture/2022-11-01/upload_b75065f819274fc5086991bc2b5b4e10.png)

圖5工業(yè)數(shù)據(jù)質(zhì)量管理

傳統(tǒng)的質(zhì)量評估體系過于繁雜，結(jié)合工業(yè)數(shù)據(jù)和業(yè)務(wù)場景，基于完整性、準(zhǔn)確性、規(guī)范性、唯一性、一致性、關(guān)聯(lián)性、可追溯性等構(gòu)建合理的數(shù)據(jù)質(zhì)量評估體系，并根據(jù)工業(yè)實際生產(chǎn)情況，對質(zhì)量評估體系細化：

**(1)生產(chǎn)控制數(shù)據(jù)**：生產(chǎn)控制指標(biāo)若出現(xiàn)不完整、不一致等問題，或?qū)е庐惓Ｕ{(diào)控不及時等情況發(fā)生。因此，對生產(chǎn)控制指標(biāo)的數(shù)據(jù)質(zhì)量管理提高優(yōu)先級，保障生產(chǎn)流程的正常運轉(zhuǎn)。

**(2)傳感器數(shù)據(jù)**：傳感器數(shù)據(jù)監(jiān)測生產(chǎn)過程中的運作情況，可實時感知生產(chǎn)異常，并及時優(yōu)化調(diào)整。因此，要提高傳感器數(shù)據(jù)接入的及時性、一致性。

**(3)故障記錄數(shù)據(jù)**：為保證生產(chǎn)設(shè)備的穩(wěn)定運轉(zhuǎn)，需要對設(shè)備故障記錄進行分析診斷，因此需要保證設(shè)備故障記錄數(shù)據(jù)的可靠性和可追溯性。

**(4)庫存物流數(shù)據(jù)**：庫存物流管理是生產(chǎn)、計劃和控制的基礎(chǔ)。通過保證庫存物流數(shù)據(jù)的及時性和完整性，能夠優(yōu)化生產(chǎn)周期，保證生產(chǎn)的良性循環(huán)。

2.2.6數(shù)據(jù)生命周期管理

采用科學(xué)的數(shù)據(jù)生命周期管理能夠提高系統(tǒng)運行效率，大幅減少數(shù)據(jù)儲存成本，更好服務(wù)客戶需求。數(shù)據(jù)生命周期包含在線階段、歸檔階段、銷毀階段三大階段，如圖6所示。
![](/upload/picture/2022-11-01/upload_7c3c56d41183bd1de1ffb6a523694192.png)
圖6工業(yè)數(shù)據(jù)生命周期管理

本文對工業(yè)領(lǐng)域的各應(yīng)用系統(tǒng)數(shù)據(jù)進行提煉和分類，在數(shù)據(jù)生命周期的各個階段制定有效的管理策略。首先，將光工業(yè)應(yīng)用系統(tǒng)按產(chǎn)品線進行劃分，確定數(shù)據(jù)類別，規(guī)定數(shù)據(jù)有效期，從而建立完整的數(shù)據(jù)有效期管理工作規(guī)范體系。然后，針對長有效期數(shù)據(jù)，在有效期結(jié)束后采用低成本存儲介質(zhì)保存，采用在線和離線的方式逐步歸檔數(shù)據(jù)。最后，銷毀冗余數(shù)據(jù)，節(jié)約數(shù)據(jù)存儲資源?？梢钥闯觯瑪?shù)據(jù)生命周期管理能夠大幅提升高價值數(shù)據(jù)的查詢效率，同時減少高價格的存儲介質(zhì)的采購成本。

2.2.7數(shù)據(jù)組織

數(shù)據(jù)組織的目的是根據(jù)數(shù)據(jù)應(yīng)用需求，采用標(biāo)準(zhǔn)統(tǒng)一、流程規(guī)范的方案分類構(gòu)建數(shù)據(jù)資源庫，進一步強化大數(shù)據(jù)內(nèi)部關(guān)聯(lián)。數(shù)據(jù)組織主要包括原始庫、知識庫、主題庫等。

**(1)原始庫**：原始庫保存原始業(yè)務(wù)場景數(shù)據(jù)。工業(yè)原始數(shù)據(jù)主要包括設(shè)備監(jiān)測數(shù)據(jù)、生產(chǎn)流程記錄、產(chǎn)品檢驗數(shù)據(jù)、生產(chǎn)異常數(shù)據(jù)及生產(chǎn)運營數(shù)據(jù)等。

**(2)知識庫**：知識庫指工業(yè)領(lǐng)域的業(yè)務(wù)經(jīng)驗數(shù)據(jù)和規(guī)則方法集合，包括數(shù)據(jù)接入、處理、服務(wù)以及工業(yè)通用模型所涉及的知識性數(shù)據(jù)和規(guī)則方法。工業(yè)知識庫主要包括原料特性、設(shè)備參數(shù)、產(chǎn)品設(shè)計、生產(chǎn)原理、行業(yè)動態(tài)等。

**(3)主題庫**：主題庫對原始數(shù)據(jù)和資源數(shù)據(jù)根據(jù)分析和服務(wù)的目的進行劃分，形成不同主題的數(shù)據(jù)集合。工業(yè)數(shù)據(jù)主題庫主要包括人員主題庫、設(shè)備主題庫、原料主題庫、生產(chǎn)方法庫、生產(chǎn)環(huán)境庫等。

2.2.8數(shù)據(jù)安全

工業(yè)生產(chǎn)中的重要且敏感數(shù)據(jù)大部分集中在應(yīng)用系統(tǒng)中，例如原料配方、控制策略等工藝參數(shù)數(shù)據(jù)，以及客戶信息、生產(chǎn)計劃、資產(chǎn)信息等生產(chǎn)運營數(shù)據(jù)，敏感數(shù)據(jù)泄露對企業(yè)的影響是不可逆的，凸顯出數(shù)據(jù)安全在數(shù)據(jù)治理過程中的重要性。數(shù)據(jù)安全包括以下三點：

**(1)數(shù)據(jù)存儲安全**：包括物理安全、系統(tǒng)安全存儲數(shù)據(jù)的安全，主要通過安全硬件的采購來保障數(shù)據(jù)存儲安全。

**(2)數(shù)據(jù)傳輸安全**：包括數(shù)據(jù)加密和數(shù)據(jù)網(wǎng)絡(luò)安全控制，通過專業(yè)數(shù)據(jù)安全廠商提供技術(shù)保障。

**(3)數(shù)據(jù)使用安全**：基于業(yè)務(wù)系統(tǒng)層面，建立完善的數(shù)據(jù)安全管理體系、審查機制。對生產(chǎn)及研發(fā)測試過程中使用的各類敏感數(shù)據(jù)進行嚴密管理。

2.2.9數(shù)據(jù)服務(wù)

數(shù)據(jù)治理是為了更好地利用數(shù)據(jù)，是數(shù)據(jù)應(yīng)用的基礎(chǔ)?；诠I(yè)領(lǐng)域的業(yè)務(wù)需求，大體劃分為三個方向：應(yīng)用支撐、工具應(yīng)用及業(yè)務(wù)應(yīng)用。應(yīng)用支撐服務(wù)包括知識圖譜構(gòu)建、數(shù)據(jù)服務(wù)總線和服務(wù)管理等服務(wù)類型；工具應(yīng)用服務(wù)包括生產(chǎn)查詢檢索服務(wù)、模型分析服務(wù)和數(shù)據(jù)管理服務(wù)等服務(wù)類型；業(yè)務(wù)應(yīng)用服務(wù)包括產(chǎn)品溯源、異常預(yù)警和可視化大屏等服務(wù)類型。通過對海量數(shù)據(jù)的集中、整合、挖掘和共享，結(jié)合全方位、多層次的數(shù)據(jù)服務(wù)體系，增強了異常處理的實時性和前瞻性，推動工業(yè)向信息化、智能化轉(zhuǎn)型。

3 工業(yè)數(shù)字化之?dāng)?shù)據(jù)治理實踐

本文基于工業(yè)數(shù)據(jù)治理體系，以光纖生產(chǎn)為背景，探索工業(yè)數(shù)據(jù)治理在光纖生產(chǎn)領(lǐng)域的應(yīng)用實踐。采用大數(shù)據(jù)分布式架構(gòu)實現(xiàn)對數(shù)據(jù)的采集、清洗、存儲。構(gòu)建數(shù)據(jù)地圖并進行數(shù)據(jù)血緣分析，采用智能算法實現(xiàn)數(shù)據(jù)對齊、生產(chǎn)異常自動識別與預(yù)警。對比了數(shù)據(jù)治理前后產(chǎn)品數(shù)據(jù)分析的優(yōu)化效果，搭建了數(shù)字化大屏，呈現(xiàn)可視化的數(shù)據(jù)治理成效，最后總結(jié)了數(shù)據(jù)治理為光纖生產(chǎn)帶來的產(chǎn)品質(zhì)量和效率的提升。

3.1數(shù)據(jù)地圖

數(shù)據(jù)地圖的構(gòu)建屬于數(shù)據(jù)治理中的元數(shù)據(jù)管理環(huán)節(jié)。光纖工業(yè)的數(shù)據(jù)來源廣，數(shù)量多，分散性強。傳統(tǒng)的數(shù)據(jù)管理方式查找數(shù)據(jù)的成本較高。通過大數(shù)據(jù)采集存儲技術(shù)，追蹤從上游產(chǎn)品光纖預(yù)制棒至下游產(chǎn)品光纜的各項生產(chǎn)環(huán)節(jié)的原料、工況、質(zhì)量等相關(guān)數(shù)據(jù)，能夠?qū)崿F(xiàn)數(shù)據(jù)串聯(lián)，打通數(shù)據(jù)孤島。數(shù)據(jù)地圖如圖7所示。

![](/upload/picture/2022-11-01/upload_dbf7917631eca09fb5d023e717f4c890.png)
圖7數(shù)據(jù)地圖

經(jīng)過數(shù)據(jù)治理之后，在對光纜成品進行質(zhì)量分析時，分析人員能夠利用數(shù)據(jù)地圖進行數(shù)據(jù)血緣分析，跟蹤數(shù)據(jù)來源并分析任務(wù)依賴，輕松追溯到上游生產(chǎn)中的光纖拉絲、光纖預(yù)制棒生產(chǎn)環(huán)節(jié)的相關(guān)數(shù)據(jù)，而不僅僅局限于當(dāng)前的生產(chǎn)環(huán)節(jié)，從而獲得更有價值的分析結(jié)果。

3.2數(shù)據(jù)對齊

數(shù)據(jù)對齊屬于數(shù)據(jù)治理中的數(shù)據(jù)質(zhì)量管理環(huán)節(jié)。以光纖預(yù)制棒的制造為例，由于預(yù)制棒在生產(chǎn)過程中發(fā)生了多次形變，后期預(yù)制棒測試數(shù)據(jù)無法與前期傳感器記錄的生產(chǎn)數(shù)據(jù)相對應(yīng)。為了展開后續(xù)的質(zhì)量分析研判工作，需要將測試數(shù)據(jù)與生產(chǎn)數(shù)據(jù)對齊。

通過對預(yù)制棒生產(chǎn)過程中的棒體尺寸數(shù)據(jù)等記錄數(shù)據(jù)，采用膨脹點映射等智能算法對預(yù)制棒收縮和拉伸的過程進行建模還原，能夠?qū)崿F(xiàn)各個測試點位與生產(chǎn)時間段的對應(yīng)，提升數(shù)據(jù)質(zhì)量豐富數(shù)據(jù)量的同時，為后續(xù)人工智能建模分析打下良好基礎(chǔ)。
![](/upload/picture/2022-11-01/upload_0ea559afab692d8d25f1bf72b60893f7.png)
圖 8數(shù)據(jù)對齊前后建模誤差對比

圖8展示了數(shù)據(jù)對齊前后預(yù)制棒BA比(芯層直徑與包層直徑之比)的建模預(yù)測誤差率，曲線越靠下表示預(yù)測誤差越低?？梢钥闯?，經(jīng)過數(shù)據(jù)治理后，同樣樣本量下，由于數(shù)據(jù)對齊后能夠進行測點分段映射，擴充了模型訓(xùn)練數(shù)據(jù)，使得基于隨機森林的回歸預(yù)測模型建模預(yù)測誤差率明顯降低。

3.3異常識別與預(yù)警

傳統(tǒng)異常告警機制具有告警模型單一，人工識別工作量大等缺陷，人工標(biāo)注效率較低，而且誤標(biāo)、漏標(biāo)率較高。光纖工業(yè)的常見異常類型包括脈沖型異常，階躍型異常以及模式異常，基于大量數(shù)據(jù)采用時序差分特征和時間窗統(tǒng)計特征構(gòu)建的時間序列異常識別模型，能夠?qū)崿F(xiàn)復(fù)雜環(huán)境下的異常告警需求，同時極大提高歷史異常識別效率，原本進行數(shù)據(jù)的收集、整理，再人工對異常進行標(biāo)注的工作需要花費數(shù)天時間，通過數(shù)據(jù)治理集成異常識別模型后，只需要花費幾分鐘的時間即可完成歷史異常的識別和分析。

3.4數(shù)據(jù)分析周期優(yōu)化

在光纖工業(yè)中，針對產(chǎn)品品質(zhì)的數(shù)據(jù)分析是生產(chǎn)過程中的重要環(huán)節(jié)，需要不斷通過分析確定工藝參數(shù)的調(diào)整方向，以此改善生產(chǎn)品質(zhì)，保證生產(chǎn)穩(wěn)定性。

開展數(shù)據(jù)治理前，數(shù)據(jù)分析的周期長、工作量大，分析的數(shù)據(jù)量也比較有限。在實施數(shù)據(jù)治理之后，采用云端采集和在線分析，代替過去手動采集和離線分析的方式，同時保證了數(shù)據(jù)的準(zhǔn)確性和完整性，大大減少分析人員在繁瑣的數(shù)據(jù)預(yù)處理任務(wù)中耗費的時間。數(shù)據(jù)治理前后對比如表1所示。

表1數(shù)據(jù)治理前后對比
![](/upload/picture/2022-11-01/upload_4cb5bc73f0d316c3a3d6ce93ddb80b93.png)

云端采集在線分析的方式能夠避免數(shù)據(jù)的二次傳輸，同時能夠利用服務(wù)器資源輔以定制化的數(shù)據(jù)分析工具產(chǎn)出分析結(jié)果，有效提高數(shù)據(jù)分析效率，數(shù)據(jù)分析周期由原來的3～7天縮短到了現(xiàn)在的當(dāng)日產(chǎn)生數(shù)據(jù)，當(dāng)日產(chǎn)出分析結(jié)果。在未來，將實現(xiàn)采集即服務(wù)，分析即服務(wù)的分析模式，保證數(shù)據(jù)高質(zhì)量的同時實現(xiàn)毫秒級的數(shù)據(jù)分析反饋。

3.5數(shù)字化大屏

將數(shù)據(jù)治理工作通過可視化方式展現(xiàn)，直觀體現(xiàn)數(shù)據(jù)治理成果，提供企業(yè)運營、生產(chǎn)狀況、產(chǎn)品畫像等主題的大展示，實時呈現(xiàn)光纖工業(yè)生產(chǎn)運營狀況，如圖9所示。
![](/upload/picture/2022-11-01/upload_3311f4caa3f5006bd2b9bbf66d1430bc.png)
圖 9數(shù)字化大屏

企業(yè)運營大屏展現(xiàn)了企業(yè)光棒、光纖、光纜的原料、生產(chǎn)、檢驗、倉儲、銷售等關(guān)鍵環(huán)節(jié)的信息。

生產(chǎn)狀況大屏通過綜合產(chǎn)量、良品率、穩(wěn)定性、資源消耗等多方面因素建立的分析模型為產(chǎn)線評分，直觀展現(xiàn)產(chǎn)線整體情況。

產(chǎn)品畫像大屏基于歷史生產(chǎn)數(shù)據(jù)、質(zhì)量測試數(shù)據(jù)構(gòu)建產(chǎn)品畫像，以質(zhì)量數(shù)據(jù)為導(dǎo)向回溯生產(chǎn)數(shù)據(jù)，量化展示產(chǎn)品質(zhì)量差異的原因。

3.6產(chǎn)品質(zhì)量與效率提升

目前，企業(yè)在光纖預(yù)制棒、光纖拉絲中有諸多方面的提升，如表2所示。其中在光纖預(yù)制棒階段，生產(chǎn)過程中內(nèi)部形成雜質(zhì)和氣泡，會嚴重影響后續(xù)光纖拉絲過程。經(jīng)數(shù)據(jù)治理后，數(shù)據(jù)質(zhì)量提高，通過數(shù)據(jù)分析與建模，不斷優(yōu)化生產(chǎn)工藝，有效降低預(yù)制棒的氣泡缺陷率，改善光纖預(yù)制棒的均勻性和重復(fù)性，良品率大幅度提升，達到投產(chǎn)門檻；在光纖拉絲階段，在拉絲提速、塔斷及告警反饋等方面的業(yè)務(wù)痛點方面有明顯的改善，拉絲良品率有效提升。

表2產(chǎn)品質(zhì)量與效率提升
![](/upload/picture/2022-11-01/upload_062dcd2b3751be81df3dc48bd9051b54.png)
4 結(jié)論

本文介紹了數(shù)據(jù)治理的發(fā)展現(xiàn)狀，分析了工業(yè)數(shù)據(jù)的特點，構(gòu)建了一套面向工業(yè)的數(shù)據(jù)治理體系，并結(jié)合數(shù)據(jù)治理應(yīng)用案例驗證數(shù)據(jù)治理的成效。以光纖生產(chǎn)為背景，應(yīng)用案例表明，該工業(yè)數(shù)據(jù)治理體系作為工業(yè)數(shù)字化轉(zhuǎn)型的支撐點，能夠極大簡化數(shù)據(jù)管理流程，減少人工工作量，提高數(shù)據(jù)價值密度，提升數(shù)據(jù)挖掘效率，為不同的業(yè)務(wù)分析場景提供高質(zhì)量的數(shù)據(jù)接口，有效推動企業(yè)向數(shù)字化、智能化發(fā)展。

原文刊載于《信息技術(shù)與網(wǎng)絡(luò)安全》2022年 第 4期   作者：汪洋 王柯張 桃寧韓蕊 彭艷兵 湯國強