編輯導讀:在我們的生活中,因為大數據的應用,很多事情變得越來越便利。本文作者依據工作中項目實踐的所思所想,結合案例等對大數據產品體系中BI工具的設計要素進行了梳理分析,供大家一同參考和學習。
前言
隨著大數據、雲計算、5g的發展,數據的價值也被許多公司重視起來,海量的數據經過處理之後可以輔助甚至決定公司的決策。近期有幸負責公司大數據產品體系中的BI工具,對建設BI系統幾個核心要素做一個簡單的復盤。
一、BI工具在企業的大數據體系中的位置
首先在我們規劃產品之前我們應該知道整個大數據產品體系中BI產品處於的是哪一個層面,這樣才可以對產品功能模塊有個比較清晰的界定,避免一些重複造輪子、功能冗餘的情況。
我把大數據產品體系可以分為4個層面
- 數據源(行為數據、日誌數據、業務數據)
- 數據採集(數據中台)
- 數據加工(機器學習訓練平台、用戶畫像構建系統、數據中台)
- 數據應用(push、BI、AI、人臉識別)
而BI工具是處於數據應用層面的產品,數據應用層面的產品是用戶感知數據產品和體驗數據帶來的價值最直接的途徑。由此可以得出BI工具重要性,可能用戶對於產品的體驗直接會影響用戶對於企業數據部門主觀的評價。
二、角色和場景
在做了一些用戶的調查分析工作之後我們得出使用BI工具的用戶的角色和場景:
- 查看看板的用戶:主要是管理者、運營、產品、財務、人事需要用數據進行決策,對於資料庫操作較為困難,有直觀展示數據訴求的用戶
- 製作看板的用戶:數據分析師、開發工程師等具備數據開發技能,提供數據支持的用戶
- 製作並查看的用戶:這類用戶一般擁有有權
限的數據源並具備相關技能需要用系統達成某類指標,這裡泛指每個有數據看板訴求的用戶
三、設計的五大要素
1. 數據源
第一個要素數據源。企業中的BI工具可能承接上游數據中台或者其他產品輸出的結果,作為輸入的數據源,每個業務方用的資料庫都可能是不一樣的,所以可接入數據源的種類決定的一個BI工具的可用性,這裡接入的數據源不僅支持傳統的資料庫mysql,sql server等,還要支持非關係型的資料庫,如mongoDB,hive,kylin,sprakSQL等。
上面所舉例的都是實時的資料庫,在一些比較特殊的場景,如hr考勤數據是以execl形式輸出的,這個時候就要提供離線的數據源接入方式,也可以說是外部導入的形式。
2. 數據模型
第二個要素構建數據模型,數據模型是用戶在指定完數據源之後,需要對錶進行組合,構建出表與表之間的關係。在這一個過程當中需要主要兩個問題
- 構建方式:為了簡化用戶的操作流程降低用戶的使用門檻,表與表之間構建的交互方式採用可視化的拖拉拽交互方式,通過可視化的方式組合表,改變表之間的連接關係。當然也需要提供自定義sql的構建方式滿足專業程度較高對於模型自定義程度較高的用戶。
- 維度指標設置:在構建模型的階段並不是所有的欄位都用戶自助分析構建報表,在構建模型的階段需要指定好維度和設定好指標的計算方式。
3. Dashboard構建
Dashboard構建是BI工具的一個核心操作流程,報表的分析編輯構建都在這個模塊中完成。
- OLAP分析:多維分析,拖拽交互,數據聯動,鑽取,二次計算
- 樣式設定:圖表的樣式類型(柱狀、折線、地圖、餅狀、散點等)每個不同的圖表類型都對應不同的樣式設定,包括一些值的映射關係都屬於樣式設定的範疇當中。
- 預警設計:指標預警可以將超過閾值的數據通過郵件或者通信工具的方式及時告知用戶數據異常,讓用戶可以在第一時間發現問題並處理問題。
4. 看板展示
看板展示及交互:看板在發布到公告區域之後,用戶可以對看板進行簡單的交互,如:篩選項控制、報表高度寬度的調整、報表間數據聯動設置、報表的隱藏、報表位置的調整。
移動端展示:移動端的展示其實也算是看板展示的一種表現形式,目前市面上也有解決方案,小程序或者是原生的app,這裡推薦原生app個人認為原生app性能比較好而且交互能做得比較多。
看板分享:在正式發布到公共看板之前,舉一個場景,分析人員可能需要部門各個人員之間或者分析人員與業務方之間需要核對以下報表是否滿足發布的要求,會進行一些報表分享的動作,將報表分享給其他用戶核實后再掛載到公共的看板中。
5. 許可權設計
信息安全是每個企業的重中之重,許可權的設計在企業的任何一個系統都是非常重要的,每個公司的業務流程和組織架構都不一樣,需要根據不同的業務流程和組織架構進行規劃設計,排除組織架構和業務的許可權劃分之外,我整理了BI工具中不同粒度的許可權控制,這裡我從系統的角度自上而下的介紹:
- 數據源許可權:資料庫許可權控制、資料庫中表的許可權控制、表中列的值的許可權控制
- 模型許可權:維度許可權控制、指標許可權控制、基礎屬性配置許可權控制、CRUD操作許可權控制
- 目錄許可權:CRUD操作許可權控制
- 看板許可權:CRUD操作許可權控制(包含樣式修改許可權)、分享收藏許可權控制、下載許可權控制
其實會發現我一直沒有提性能的問題,其實bi工具沒有搶做數據中台的事(數據收集、etl處理、分析計算、數據樣本訓練)一來性能的問題完全就依靠中台數倉的計算能力,二來也方便產品後期的拓展