浪潮下,數據智能的組織變革和發展邏輯 | 人人都是產品經理

整個行業市場就是巨頭引導的IaaS/PaaS/DaaS/TaaS/AaaS/MaaS各服務層加上各中小企業在應用層不斷向其他行業滲透的過程。市場在不斷的被瓜分和細化。大數據/雲計算/人工智慧互相交織,趨於一體。一根針捅破天的機會越來越少,AI產品落地、垂直領域的創新、AI組織變革,將是接下來的熱點。

AI(數據智能)技術的普及

技術的發展有自己的規律,在不同階段表現出不同的狀態,發展的關鍵問題也不同。

技術的興起階段,技術本身的進步是發展的關鍵。此時往往是科研機構、高校或大型企業內部研究院開始進行前沿技術的研究。比如中國科學院大數據實驗室、阿里人工智慧實驗室、上海大數據聯盟等。

當技術發生了重大的突破,如AI的關鍵性技術突破,加上大數據和雲計算技術提供了充足的數據和計算能力,使得AI迅速獲得人們的關注。15年Alpha Go驚艷地表現像一個火種,整個行業市場開始有了燎原之勢,風投、科技媒體開始逐漸關注。

隨著而來的是大量的技術社區、技術佈道者(技術培訓等)和AI創業公司。好像當時的淘金熱,創業公司是淘金者,技術佈道者是渡船人。這一階段,AI技術人員最為搶手。這時AI領域的垂直培訓公司,如七月在線也風生水起,數據科學競賽的平台kaggle、阿里天池大數據、datacastle也吸引力眾多的技術人才。

當技術普及到達一定程度,技術能否真正的落地,去解決實際的問題則成為關鍵。這時候我們需要一批有著敏銳的市場需求並可以將技術落地的AI產品經理,技術開始滲透到各行各業,垂直細分領域的應用開始快速發展。各個領域應用的如電商銷售、廣告推薦系統、智能醫療等產生了大量的初創AI公司,而其背後,投資人關鍵的重點開始從技術本身變為能否解決實際的行業痛點。

然後,當技術發展趨於成熟,技術會導致生產生活關係、團隊組織的變化。此時,一個團隊能夠適應性的改進自身,成為關鍵。比如回過頭去看互聯網發展的過程,從關注技術本身,到互聯網應用,到企業互聯網轉型。AI技術也一樣,技術本身會給團隊的管理帶來新的挑戰。

當前AI(數據&智能)技術正處於技術普及的中後期,重點是技術的應用。在團隊組織方面,我們試圖尋找到一種新的合適的形式,來應對變化。

AI 組織變革

此處我們給出了一種組織架構,來應對這種變化。

數據採集團隊:

內部數據對企業來說更為關鍵,是實現數據驅動的基礎。外部數據一種是對互聯網和線下數據的採集,一種是通過數據交易市場來獲取。內部數據的獲取依賴企業內部的信息化,數據交易市場目前在國內已經趨於成熟,如數據堂、聚合數據、發源地等。企業可以根據自己需求決定團隊的規模,團隊技能包括網路爬蟲、協議解析、數據清洗、數據對接等。

數據治理團隊:

數據治理包括數據質量控制、元數據管理等。數據治理保證了數據可用、可控、可信。數據治理從本質上來講是服務的角色,讓數據加工過程透明化,讓各個環節的數據使用者能夠清楚的知道數據從何而來,經過了怎樣的處理過程。比如一個人的消費明細是原始數據,處理夠得到消費天統計表、月統計表,消費者行為愛好分析表。數據治理要做的就是掌握他們之間的來龍去脈,並展現給其他團隊使用。

服務團隊:

雲計算的核心思想是「一切皆服務」,解放生產力,讓企業可以專註在其最核心的領域內。AI賦能是核心部分。

  • DaaS 數據即服務: 以數據的採集與提供,為主要業務內容。相關技術包括ETL、流式數據處理、實時計算、異構數據解析、數據治理等。
  • TaaS 工具即服務: 將數據處理工具以服務的形式提供。相關服務包括清洗服務、轉換服務、解析服務等。
  • AaaS 分析即服務: 以數據報告、可視化報表的形式提供服務。相關技術包括統計學、可視化技術等。
  • MaaS 挖掘即服務: 提供數據挖掘的核心能力服務。相關技術包括機器學習、深度學習、認知計算、模式識別等。

DAAS層的公司專註數據的交換,比如上文提到數據交易平台。一種是直接交換數據(數據堂),一種是以API的形式提供(聚合數據)。

TaaS專註於工具的服務,比如百度的預處理服務,將預處理的清洗、規約等過程封裝成服務。該類服務類似給淘金者提供鎚子、釘子等公司,讓淘金者可以更方便的去挖金。

AaaS則專註於分析統計。比如阿里雲數加提供的快速BI服務。傳統情況下搭建一個銷售數據分析系統,可能要一個月。而使用AaaS,只要一天。用戶只要上傳數據,數據處理邏輯基本是圖像化操作,拖放控制項,大大提高了效率。

MaaS指的是數據挖掘的核心能力,如阿里雲提供的機器學習api、深度學習模型等,在這種情況下,如果要開發一個圖片識別系統,只要了解其提供的介面即可,無需關心內部實現,存儲和計算能力可以按需購買。這降低了技術門檻,使得AI更快的應用到其他行業。

應用團隊:

從對數據的加工層次,包括檢索查詢、統計分析、業務模型、數據展現,需要深度結合領域知識。這裡是更多中小創業者的機會所在。對初創企業來講,數據的獲取、數據的加工都可以使用雲服務。而應用層,沒有任何一家企業可以通吃。應用層是創新最頻繁的地方,當然,也是競爭和死亡率最高的地方。

接下來,我們反觀數據源、數據加工、數據治理、數據應用幾個層面,來看下它們之間的發展邏輯。

數據智能的發展邏輯

數據源的三個層次:

  1. 緯度較少、數據量小
  2. 緯度豐富、數據量巨大(大數據)。
  3. 數據正確、及時、具有代表性 樣本數據=總體數據(全數據)。

對業務目標而言,數據是否「全」才是關鍵。

全數據:足以能夠全面反映事物形態的數據集合。

全數據下,樣本數據=總體數據,數據足夠正確、足夠新、足夠代表性。

當期,雖然大數據量很大、緯度很多、處理速度極快、能夠全量處理,但是大數據並沒有解決「全」的問題。

例如,「小而全的數據」:對於一個餐飲店的菜品銷售分析。其店內產生的數據(客戶訂單、菜品評價),數據量每天的新增量僅在每天2千條左右,而且只有訂單和評價數據,存儲資料庫也是傳統關係式資料庫。對「店內菜品分析而言」
擁有這些數據已經夠「全」,解決其業務問題。而更「大」的其他數據,對其沒有貢獻。

再如,「大而不全的數據」:對於信貸問題,要發現不可信人員。往往的思路是,試圖通過對用戶的線上行為、消費情況、以往銀行記錄進行識別判斷。而現實情況卻是,該類人群會刻意的迴避「線上行為」,如盜用他人銀行卡、民間高利貸等「線下行為」,這些隱蔽行為無法獲取到。

數據處理技術的三個層次:

  1. 檢索、查詢
  2. 統計、分類技術、異常數據分析、關聯性分析
  3. 趨勢預測

數據管理的三個層次:

  1. 保證數據可用
  2. 保證數據可控
  3. 保證數據可信

首要問題是有數據可用,這在數據匱乏的「小數據」時代最為重要。

「大數據」時代則要防止數據迅速膨脹帶來的數據失控問題,避免成為一堆大而亂的數據垃圾。

「全數據」強調的是:不盲目追求「大」,而是從業務應用的角度,保證數據的正確、及時。

數據價值的三個層次:

  1. 展示事物發展過程
  2. 描述事物發展本質
  3. 預測事物發展趨勢

對事物的發展過程加以數字化的展現,使用分類、關聯等技術發現事物發展過程中的規律、模式。

對事物的發展趨勢加以預測。

數據源層次越高、處理技術層次越高、數據管理層次越高,帶來的數據價值越大。

最後

綜上,整個行業市場就是巨頭引導的IaaS/PaaS/DaaS/TaaS/AaaS/MaaS各服務層加上各中小企業在應用層不斷向其他行業滲透的過程。市場在不斷的被瓜分和細化。大數據/雲計算/人工智慧互相交織,趨於一體。

一根針捅破天的機會越來越少,AI產品落地、垂直領域的創新、AI組織變革,將是接下來的熱點。

 

作者:小東,微信號: xzwz123456