數據湖技術(shù)賦能智慧消防，實(shí)現數據治理

　　物聯(lián)網(wǎng)、大數據、云計算、人工智能等新興技術(shù)與消防的深度融合，正在引發(fā)消防治理方式的深刻變革，科技創(chuàng )新已成為推動(dòng)消防行業(yè)發(fā)展的主要驅動(dòng)力。

　　伴隨著(zhù)城市化進(jìn)程的加快，消防安全形勢也越來(lái)越復雜，“以數據為中心，驅動(dòng)消防治理數字化轉型”已成為當前經(jīng)濟建設和社會(huì )發(fā)展的必然要求。對于來(lái)自早期的消防信息化系統的關(guān)系型數據，數據倉庫可以滿(mǎn)足數據治理和存儲的要求，但是隨著(zhù)智慧消防建設的不斷推進(jìn)，來(lái)自物聯(lián)網(wǎng)設備、移動(dòng)應用程序的非關(guān)系型數據越來(lái)越多，很難存儲在數據倉庫中，數據存儲分散、橫向的數據共享和分析的短板問(wèn)題凸顯，難以對全局數據開(kāi)展大數據挖掘。數據湖技術(shù)能同時(shí)滿(mǎn)足關(guān)系型數據和非關(guān)系型數據的存儲，為大數據時(shí)代的數據治理、數據存儲提供了新途徑。

　　一.數據湖的概念

　　數據湖(Data Lake)最早是由 Pentaho公司的創(chuàng )始人兼首席技術(shù)官詹姆斯?狄克遜( James Dixon)在2011年提出來(lái)的，是一種新的數據存儲理念，即在系統或存儲庫中以自然格式存儲數據的方法。

　　最初數據湖是作為對數據倉庫的補充，是為了解決數據倉庫漫長(cháng)的開(kāi)發(fā)周期，高昂的開(kāi)發(fā)、維護成本，細節數據丟失等問(wèn)題出現的。而從2011年前后，很多數據倉庫逐漸遷移到Hadoop為基礎的技術(shù)棧上，而且除了結構化數據，半結構化、非結構數據也逐漸地存儲到數據倉庫中，并提供此類(lèi)服務(wù)。這樣的數據倉庫，已經(jīng)具有了數據湖的部分功能。由此，催生了數據湖的概念。

　　數據湖是一個(gè)集中式存儲庫，允許用戶(hù)以任意規模存儲所有結構化和非結構化數據。用戶(hù)可以按原樣存儲數據(無(wú)需先對數據進(jìn)行結構化處理)，并運行不同類(lèi)型的分析—從控制面板和可視化，到大數據處理、實(shí)時(shí)分析和機器學(xué)習，以輔助管理者做出更好的決策。

　　圖：數據湖處理架構

　　二.數據湖的價(jià)值

　　數據湖作為一種新型的數據存儲庫，具有輕松收集數據，易于發(fā)掘數據價(jià)值，消除數據孤島，具有更好的擴展性與敏捷性等優(yōu)勢。

　　在數據存儲方面，數據湖按照系統的原生模型存儲數據，不僅簡(jiǎn)化了數據的處理過(guò)程，保證數據真實(shí)可靠，同時(shí)能對具有時(shí)效性要求的實(shí)時(shí)應用提供更好的支撐。

　　在分析應用方面，數據湖能夠在更短的時(shí)間內從更多來(lái)源利用更多數據，并使用戶(hù)能夠以不同方式協(xié)同處理和分析數據，從而做出更好、更快的決策。

　　在數據治理方面，數據湖提供統一的目錄管理、權限控制、編排調度、追蹤溯源等功能，能夠有效識別和管控各項數據及其處理過(guò)程，促進(jìn)數據質(zhì)量的持續提升。

　　圖：數據湖具備的能力

　　三.數據湖賦能智慧消防

　　在智慧消防的應用中，引入數據湖技術(shù)，統一匯集區域基本數據、單位消防數據、建筑數據、物聯(lián)網(wǎng)數據、監督執法數據、其他行業(yè)數據、部門(mén)共享數據等各類(lèi)信息，構建數據管理機制和數據處理機制，提高其數據集成能力、數據治理能力、數據安全管控能力，為數據分析和開(kāi)發(fā)人員提供統一的數據存儲和訪(fǎng)問(wèn)服務(wù)，充分發(fā)揮數據價(jià)值。

　　利用機器學(xué)習和深度學(xué)習算法對這些消防數據進(jìn)行建模、訓練和驗證，得出數據之間的關(guān)聯(lián)性或者因果推斷關(guān)系來(lái)建立各種模型進(jìn)行分析和預測，為消防管理和決策提供數據支持。通過(guò)模型的建立，智慧消防大數據平臺可以對區域、單位火災風(fēng)險進(jìn)行分析研判，科學(xué)制定監督執法任務(wù)，指導社會(huì )面消防工作的開(kāi)展，并結合滅火救援相關(guān)數據，開(kāi)展聯(lián)勤聯(lián)動(dòng)、輔助應急救援、決策指揮等工作，實(shí)現數據深度運用，筑牢消防安全屏障，推動(dòng)消防治理數字化轉型。

　　圖：消防數據湖

　　消防與社會(huì )經(jīng)濟發(fā)展緊密關(guān)聯(lián)，是保障民生的重要內容。數據湖技術(shù)為消防監督管理工作提供準確可靠的數據支撐，滿(mǎn)足消防工作多樣化和層次化需求，使消防信息化系統發(fā)揮更大的作用，提高了消防監督執法水平。