智能BI,如今走到了哪一步? | 人人都是產品經理

有效的數據治理可以幫助企業將已有數據變得更加可控與易用,而這就需要依託於雲計算、大數據、物聯網以及人工智慧的協同能力,這也是未來產業數據治理髮展趨勢的表現之一。具體如何理解這一發展和智能BI的未來?不如來看看作者的解讀。

「錯進,錯出。」這是美國稅務局在1963年對數據質量提出的解釋,以此來試圖表達數據對於計算機處理結果質量的重要性。

這一觀點的源頭來自「計算機之父」查爾斯·巴貝奇。

在巴貝奇的隨筆文集上記錄過這樣一件事,他曾因有人認為輸入錯誤數據下的計算機仍然給出正確答案而感到驚愕。而他發現,數據繁瑣數量多,即使經過多道人工審核仍存在很多錯誤。上世紀八十年代,巴貝奇研製出無需任何人力計算便可以自主完成三組十萬以內加法的「差分機」,用來解決輸入數據錯誤的問題。

資料顯示,如今,我國數據產量佔全球數據23%左右,在全球數據量中佔比頗大。由於數據能夠對計算結果產生直接影響,一直以來被當作極為重要的環節。因此,在互聯網及雲計算髮展下,數據處理、數據復用等問題又一次被推上風口。

而商業智能也在幫助企業現有數據進行整合的基礎上,承擔下可視化這一環節,輔助企業進行業務經營決策。這也隨機帶來問題:

我國商業智能如今發展現狀如何?

當下市場,在數據處理及復用上實際難點有哪些,如何解決?

數據處理概念越來越寬泛,在雲大物智賦能下,產業數據治理未來發展趨勢是怎樣的?

一、商業智能等於BI嗎?

可以說,數據價值最大化體現在商業。

以往,我國商業數據市場從早期數字化改造向互聯網爆發后的基礎軟體普及邁進。2013-2015年間,報表式可視化功能湧現,成為商業數據智能的前身。在歷經兩年高速成長,目前市面上被廣泛獲知的狹義「商業數據智能」或可視化應用逐漸邁入成熟階段。

在人工智慧技術的不斷演進下,AI得以與許多工具、技術結合。而數據可視化實用性最強的是BI(商業智能),在人工智慧技術的加持下,商業智能對傳統數據分析進行持續化、信息化建設,形成1+1>2的表象。

據艾瑞諮詢估算,2019年至2025年中國人工智慧核心產業及帶動產業規模都將保持高速增長態勢,複合增速均超過20%。

數字經濟的蓬勃發展帶來商業數據智能再次增速。

從整體來看,商業數據智能工具可以分為三個階段,即數據化、全局可視化及分析智能化。

具體來看,在第一階段數據化轉化期間,尚未進行數字化轉型的企業將數據進行電子化處理,通過CRM、ERP等基礎軟體為企業提供出部分賦能。

當全局可視化階段時,企業已經擁有資料庫或本地數據文件作為基礎。這時要做的是將數據進行提煉整理,形成數據報表。可視化工具能夠為企業提供數據分析及報表產出效率,增加數據實用性及數據價值。

實現數據可視化后,企業便可以利用AI開發框架進行模型訓練,進行數據挖掘,通過數據分析培養自身IT能力,最終體現在上層的BI產品上。

簡單來說,這個過程就好比一家餐飲店利用數字化終端設備將消費者的消費時間、喜好、產品一一收集。繼而對這些數據進行整理,將有用的數據以通俗易懂的方式呈現出來。通過這些的數據可以清晰地了解消費者的年齡層次、哪款產品喜愛度最高。而通過這些數據反饋出來的信息,不斷優化菜品、升級營銷方式,從而幫助企業實現更高的增長。

目前,由於我國企業中小型佔比較多,數字化轉型程度弱,大部分企業集中在數據化轉化及可視化賦能區間。

所以總體來看,我國距離數字化成熟尚有一段距離,而商業數據智能往往需要建設在統計格式及企業數據技術上,因此,前期的數字化轉化環節就顯得尤為關鍵。

此外,數據不夠「乾淨」,數據存量小,數據平台性能不足,處理效率低也是企業在數據處理時遇到的糟心事。在進行數據分析、挖掘及機器學習或可視化前,數據清洗、數據儲存也直接決定後續結果呈現。

二、數據處理的命門

「中國沒有真正的醫療大數據」「沒有數據可用」,一位行業專家在談臨床時抱怨。

然而,據IDC發布的《數字宇宙驅動醫療行業數據增長》報告顯示,醫療行業數據量每年以48%的速度增長,很多大型醫院的數據積累已達PB級。

一邊是一線從業人員的無奈,一邊是爆發的醫療大數據,兩者之間似乎有著一條巨大的鴻溝。

事實上,並不是任何一堆數字都具備價值,一個前提是可視化,即讓這些被計算機收集的信息變得「通俗易懂」。

由於可視化所需數據基礎需要存儲等功能作為支撐。在可視化階段,需要以數據文件作為基礎,經過數據倒入、清理、建模、圖形構建等環節對企業數據進行提煉,從而呈現出完整報表。

然而,這並不是一件易事。

具體來看,這些收集的醫療大數據,有文本數據、影像數據等。不同於可以直接存儲為資料庫的結構化數據,這類數據計算機難以執行。

另外,由於醫院上線的信息系統缺乏統一的標準與介面,隨著技術變遷和系統迭代,同廠商的系統數據結構不相同,不同廠商、不同時期的數據編碼也不盡相同,醫院存儲的歷史數據面臨解讀問題。

再有就是,很多大數據平台只解決了有限數據彙集,比如,數據中心只採集到電子病歷系統的數據,或是集成平台的數據,大量體檢數據、互聯網問診記錄、外院歷史病曆數據無法獲取。數據不全、量級也不夠大,並沒有建立起真正以患者為中心的全生命周期數據。

種種因素,讓數據的可視化陷入死胡同,繼而讓數據的價值無法體現。

毋庸置疑的是,「解鈴還須繫鈴人」,想要體現數據真正的價值,首先要解決企業在數據處理能力上的匱乏。只有這樣,數據才能實現價值最大化。

正如亞馬遜CTO Werner Vogels所言:「數據越大,結果越好。為什麼企業在商業上不斷犯錯?那是因為沒有足夠數據對運營決策提供支持。」

作為數據處理中典型的案例,亞馬遜從用戶購買行為、頁面停留時間、評論查看市場、瀏覽商品區間中對用戶購物習慣進行分析處理,不斷挖掘出的數據價值早已超越其運營模式的收益。

在亞馬遜的眼中,自身所有業務環節都離不開「數據驅動」,通過需求預測可以得知用戶未來需求。而這成功的嘗試也讓不少企業心之馳往。然而,能夠做到那一步可不是部署幾個軟體就能解決的。

《Information Visualization》一書中,Colin Ware提出了這樣一個問題:可視化是一門科學還是一種語言?結果顯而易見,它屬於科學範疇,讓數據跳出繁雜,精確性、系統性的顯示出來。

事實上,在很多新應用中,數據可視化都被當作幫助用戶便捷操作數據的橋樑,例如RPA等。從深度考慮,可視化可以稱作數字化進程中的一個階段和能力,帶來數字化大趨勢下可持續發展的機會。

但實際上,數據僅作為橋樑和前端的呈現顯然已然不夠,其更應該成為企業數字化轉型的核心決策支撐,在歸集數據的同時,需要給予產業作出行業定製化的表達。

三、什麼才是智能BI?

簡單來說,數據治理就是把企業數據從雜亂、不可控轉化為可控、易用的過程。

而這種通過採集、傳輸、存儲的一系列標準化流程與企業效益有著直接關係。從艾瑞披露的數據來看,2020年商業數據智能市場結構中垂直行業拓展應用佔比最高,達62.0%,對應市場規模569億元,這一比例在未來5年將進一步提升,對應市場規模達2345億元。

市場趨生參與者也趨生行業發展不夠均衡的現狀。

目前,我國金融、零售行業數字化發展水平較快,已處在可視化發展向商業智能邁進階段;而製造業、工業等方面進展略有遲緩,呈現出供應商分散、晶元、新能源等企業發展超前,傳統製造業仍處於人工居多的兩極化現象。

處在行業發展水平不均的時代背景下,如何把狹義數據處理的分析方式、信息提取轉變的更寬泛、有彈性?

答案是利用雲大物智的協同能力。

在狹義的數據處理中,數據分析產出有價值的信息是主要目的,而廣義的數據處理可以在此基礎繼續深化,發現數據中的信息及運作邏輯,給此後的業務決策提供理論基礎和結果導向。

而雲計算、大數據、物聯網及人工智慧的出現在某種程度上構建出新型網路架構。大數據及數據存儲平台的基礎性,雲計算的IT基礎設施的靈活調用能力,物聯網的數據交互網路體系,人工智慧的數據分析理論引導,四項融合給數據治理帶來新的想象空間。

在處理低成熟度行業時,多項技術引導的方式能夠在保障數據完整性前提下,解決數據質量差、數據孤島、管理機制不足的缺陷。

儘管現階段很多企業嘗試以業務流控制數據流,但由於缺乏系統機制往往會面臨時間成本耗費但未果的情況,這也從側面反映出部分行業在基礎數字化建設存在的發展空間,而建立於雲大物智智商的商業數據智能應用也會在這些成熟度較低的行業存在發展前景。

總體來看,對於新時代的BI而言,應該擺脫固有的數據治理觀念,更多的在技術支撐下實現數據的歸類和產業表達,從資料庫的底層開始最終到時BI上層的數據呈現,構建出一個完整的數據使用閉環。

恰如那句話所說,「我們現在需要的不僅是石油,更是如何使用好石油。」

作者:三七,編輯:皮爺

來源公眾號:產業家(ID:chanyejiawang),專註深度產業互聯網內容