一、大數(shù)據(jù)寒冬已至
凜冽的寒風吹散了北京的跨年霧霾，帶來了數(shù)九寒天的冰凍感受。中關村大數(shù)據(jù)日活動剛結束一個月，各地大數(shù)據(jù)的相關展會依然如火如荼。但是紙面上的紅火無法掩蓋內在的虛弱，出來混總是要還的，大數(shù)據(jù)的寒冬正如這三九天一樣，撲面而來，讓人措手不及。
早在半年前，百分點開始大幅裁員，據(jù)說將超過600人的團隊壓縮到300以內。2017新年剛過，亞信數(shù)據(jù)同樣步入調整步伐，負責新領域探索的部門全部砍掉，甚至調整還可能會有第二輪。新年前后與多家業(yè)界有名的大數(shù)據(jù)公司溝通，有一個普遍的問題就是共同虧損，不管是做數(shù)據(jù)生意的，還是做平臺項目的，無一例外，而且公司普遍對團隊在2017年的盈利提出要求。讓我們再想象一下，如果這些團隊未能在2017年實現(xiàn)盈利結果會如何？
對運營商而言，即便聯(lián)通、電信宣稱通過數(shù)據(jù)變現(xiàn)實現(xiàn)了數(shù)億的銷售收入，但如果核算下從數(shù)據(jù)采集到變現(xiàn)應用全過程的成本投入（包含人員），一定是一個不太樂觀的數(shù)字。對BAT來說，如果把數(shù)據(jù)運營部門獨立核算，情況同樣如此。只是像運營商、BAT這樣的家業(yè)龐大的公司，不在意當前的損益，有能力持續(xù)開展戰(zhàn)略投入。
那么是什么原因導致大數(shù)據(jù)行業(yè)集體進入寒冬？是實體經濟下行影響嗎？還是大數(shù)據(jù)停留在概念炒作，未進入到實際應用？
大環(huán)境確實對大數(shù)據(jù)行業(yè)產生負面影響，不只是的大數(shù)據(jù)，2016年實質上還是資本的寒冬，移動互聯(lián)網的寒冬。但從根本上看，過度競爭才是大數(shù)據(jù)寒冬的主要因素，也是一切寒冬的罪魁禍首。
二、更多的玩家更低的門檻必然導致自我淘汰
必須承認，從整個市場來看，2016年大數(shù)據(jù)行業(yè)整體取得了巨大進步。
首先，來自數(shù)據(jù)的價值被充分挖掘。大數(shù)據(jù)的熱度讓"數(shù)據(jù)是資產""數(shù)據(jù)產生價值"深入人心，且在實際生產中催生了豐富的數(shù)據(jù)應用。客群分析、精準定向推送、金融信貸中的身份核驗、基于數(shù)據(jù)的信用評級等，其核心并非"大數(shù)據(jù)"技術的應用，更多的應該是"數(shù)據(jù)"的價值發(fā)掘。如果可以統(tǒng)計的話，2016年各公司之間的數(shù)據(jù)交易與2015年相比一定是一個指數(shù)級的增長。
數(shù)據(jù)分析應用經歷四個階段，分別是簡單數(shù)據(jù)的簡單分析（傳統(tǒng)的數(shù)據(jù)庫統(tǒng)計）、簡單數(shù)據(jù)的復雜分析（傳統(tǒng)數(shù)據(jù)量的數(shù)據(jù)挖掘）、復雜數(shù)據(jù)的簡單分析、復雜數(shù)據(jù)的復雜分析?；跀?shù)據(jù)價值發(fā)掘的各項應用絕大部分集中在第一、第二階段。能夠下象棋的"深藍"和能夠下圍棋的 "阿爾法狗"其實都應該屬于簡單數(shù)據(jù)的復雜分析（單一領域的機器學習）。
其次，大數(shù)據(jù)應用的典型案例層出不窮，目前集中于復雜數(shù)據(jù)的簡單分析。
比如上海踩踏事件后，對于特殊時段/事件的實時人群流量監(jiān)測成為大中城市的共同需求。通常通過運營商大規(guī)模信令數(shù)據(jù)的準實時處理，來實現(xiàn)區(qū)域人群準實時洞察分析。2016年已經在各大旅游區(qū)、航展、火車站等進行了廣泛的應用。
比如某市政府因人口疏解壓力，要求分析各區(qū)縣（各鄉(xiāng)鎮(zhèn)）之間的常住人口、工作人口數(shù)量，以及各類人口變動來源與去向。通常通過運營商信令數(shù)據(jù)的離線分析，可以較好的模擬真實居住/工作人群的結構與變化特征。2016年該領域實際上開展了較深入的應用。
比如公安部門、信用評級部門需要分析個人或企業(yè)的關系鏈。對個人來說，有那些人跟你是家庭關系、親戚關系、同學關系、同事關系包括曾經同學、同事等，以及關系的關系。通過大數(shù)據(jù)圖計算方式，能快遍歷每個節(jié)與周邊多個節(jié)點之間的直接或間接關聯(lián)關系，形成個人關系圖譜。對企業(yè)來說，股權投資、高管兼任、資金擔保等均可通過圖計算方式，分析出企業(yè)關系圖譜或各類復雜的資金鏈/擔保鏈關系圖譜等。
但是，上述整體市場的進步并不意味著參與的企業(yè)個體能夠持續(xù)的活下去。十家公司出現(xiàn)十個典型案例，大家都可能玩完，而一個公司一個典型案例覆蓋十個客戶，才有可能活得下去。
就如"谷賤傷農"的道理一樣，過度投入帶來的過度競爭才是大數(shù)據(jù)寒冬的真正原因。不是大數(shù)據(jù)技術不好，也不是應用缺乏，而是當前的應用市場無法容納過度參與玩家的生產能力。
首先，過度投入來自對新技術新領域的追捧。從Gartner公司每年一度的新興技術成熟度曲線（Hype Cycle for Emerging Technologies）可看出，大數(shù)據(jù)在2013年正處在成熟度曲線的頂峰，2014年已經開始下坡路，2015年已經脫離曲線，從概念炒作走向實際應用，現(xiàn)在已經有不少公司開展收縮，在可見的將來還會有更多的公司倒下。那么2016年熱度頂峰的新技術是什么，是區(qū)塊鏈。我有認識的朋友，一年半前從大數(shù)據(jù)平臺項目離職搞區(qū)塊鏈，那時候我還根本理解不了什么是區(qū)塊鏈。大概半年前又回到大數(shù)據(jù)公司，重新搞起了大數(shù)據(jù)平臺。
其次，軟件行業(yè)的整體迷茫，紛紛把大數(shù)據(jù)當成救命稻草?，F(xiàn)在還有軟件公司（包含廣告公司）不稱呼自己是大數(shù)據(jù)公司的嗎？還有軟件公司不搞些大數(shù)據(jù)平臺或應用產品嗎？不用提傳統(tǒng)電信運營支撐公司東方國信、亞信數(shù)據(jù)，就說飛信支撐方神州太岳，在2015年也高調轉型大數(shù)據(jù)應用領域。
云計算與SaaS化應用的興起導致的軟件革命，讓行業(yè)競爭加劇，很多軟件廠商無所適從。就如一季度曾曝出的用友軟件的大幅度虧損一樣，不管做ERP還是小應用，傳統(tǒng)的軟件公司的日子越來越難過了。這些軟件公司把進軍大數(shù)據(jù)當成解決軟件行業(yè)性問題的良方，結果是從一個火坑跳入另一個火坑。
再次，大數(shù)據(jù)開源技術的低門檻，玩家進出無障礙。以最經典的Apache Hadoop社區(qū)為例，Hadoop的項目結構不斷豐富發(fā)展，已經形成一個豐富的Hadoop生態(tài)系統(tǒng)，囊括HDFS、MapReduce、Yarn、Hive、Hbase、Sqoop、Zookeeper、Flume、Kafka、Spark等近30個模塊。雖然能夠對社區(qū)提供持續(xù)原創(chuàng)性貢獻的企業(yè)不多，但并不妨礙眾多公司，一兩個熟手+若干個生手就可以承諾搭建并運營一個實時交易風控平臺（以實時流計算為主要模式的平臺）。問題的關鍵在于，同樣面對新技術，新加入的玩家與傳統(tǒng)的BI廠商基本處于同一起跑線上。
最后，建設容易運營難，大數(shù)據(jù)價值還未真正體現(xiàn)。數(shù)據(jù)價值已經體現(xiàn)，但大數(shù)據(jù)價值還未真正體現(xiàn)。很明顯，之前大數(shù)據(jù)的虛火來自于建設的熱潮。當建設的熱潮退去，需要通過真實的應用價值來回報的時候，發(fā)現(xiàn)雖然有不少案例，但是總體的價值根本無法hold住之前的投入。因此反向的減少建設投入，導致市場空間相對于之前的高速擴張有較大的萎縮。
一切正如2000年的互聯(lián)網寒冬一樣，當前的大數(shù)據(jù)寒冬正是市場機制自動產生的"優(yōu)勝劣汰"過程，這是歷史規(guī)律。
對于任何一個企業(yè)或組織來說，最終結局都逃不過失敗，但對于優(yōu)秀的企業(yè)來說，可以失敗得晚一點，生存得更久一些。就如華為任正非在《華為的冬天》里說到的一樣，"十年來我天天思考的都是失敗，對成功視而不見，也沒有什么榮譽感、自豪感，而是危機感。也許是這樣才存活了十年。我們大家要一起來想，怎樣才能活下去，也許才能存活得久一些。失敗這一天是一定會到來，大家要準備迎接，這是我從不動搖的看法，這是歷史規(guī)律。"
三、產品聚焦是前提
在大數(shù)據(jù)的寒冬里，要比別人活得久一點，首先得明確自身的產品是什么，市場在什么地方，與競爭對手相比，產品是否有差異。
大數(shù)據(jù)的產品很多，大的方面可以分為6類。
第一，大數(shù)據(jù)基礎平臺。解決分布式數(shù)據(jù)存儲、離線計算與資源管理問題，包含目前比較流行的Paas平臺。
第二，實時計算引擎。通過Storm\Spark streaming等架構解決大批量實時計算問題。
第三，數(shù)據(jù)庫。各類DB，Sql，Mysql，Hbase等。
第四，大數(shù)據(jù)資產管理。數(shù)據(jù)從采集到應用開放全過程的數(shù)據(jù)結構管理。比如元數(shù)據(jù)管理，過程管理，隱私安全管理，開放管理與審計等。
第五，通用大數(shù)據(jù)應用。適用與所有行業(yè)的工具與模型。比如可視化工具，統(tǒng)一分析門戶，互聯(lián)網內容分析，智能營銷管理，數(shù)據(jù)挖掘工具/模型， SaaS化DMP等。
第六，垂直領域大數(shù)據(jù)應用。與特定行業(yè)的緊密結合的產品，如金融征信，位置運營，精準扶貧，智慧醫(yī)療等。
如果你的產品線包含從第一到第六，那么你離倒下已經不遠了。如果你能夠在某一個領域做得足夠的精深，精深到讓其它所有的玩家都很難生存，那么恭喜你，你就是在戰(zhàn)場上確立了自己地位的人，一定活得更久。
從中國大數(shù)據(jù)技術大會連續(xù)幾年的趨勢預測，也可以幫助我們判斷出市場的需求前景所在。
2013首提的數(shù)據(jù)資源化（價值化）在后續(xù)兩年基本實現(xiàn)，在2016年越來越成熟。如果你擁有較好的數(shù)據(jù)資源，毫無疑問，活下去的概率會大增。
在2016年以前，大數(shù)據(jù)分析與可視化被持續(xù)提及。在實際中，市面上可視化工具數(shù)不勝數(shù)，其中國外有一款叫Tableau，已經部分實現(xiàn)了2016年所預測的"可視化推動平民化"。如果還想依靠類似可視化工具來提供原來的BI服務，基本上沒有市場空間了。
大數(shù)據(jù)的安全與隱私問題是持續(xù)令人擔心的熱點，這里其實隱藏另一個問題，如何將復雜數(shù)據(jù)結果算準的問題。這意味著要詳細了解數(shù)據(jù)資源的構成（元數(shù)據(jù)），世系關系（從哪兒來用在哪個應用上），這導致大數(shù)據(jù)治理或者大數(shù)據(jù)資產管理產品是一個適用于所有行業(yè)的剛性需求。
|
2013年
|
2014年
|
|
1、數(shù)據(jù)的資源化
|
1、大數(shù)據(jù)從概念走向價值
|
|
2、大數(shù)據(jù)的隱私問題突出
|
2、大數(shù)據(jù)架構的多樣化模式并存
|
|
3、大數(shù)據(jù)與云計算等深度融合
|
3、大數(shù)據(jù)安全與隱私
|
|
4、基于大數(shù)據(jù)的智能的出現(xiàn)
|
4、大數(shù)據(jù)分析與可視化
|
|
5、大數(shù)據(jù)分析的革命性方法
|
5、大數(shù)據(jù)產業(yè)成為戰(zhàn)略性產業(yè)
|
|
6、大數(shù)據(jù)安全
|
6、數(shù)據(jù)商品化與數(shù)據(jù)共享聯(lián)盟化
|
|
7、數(shù)據(jù)科學興起
|
7、基于大數(shù)據(jù)的推薦與預測流行
|
|
8、數(shù)據(jù)共享聯(lián)盟
|
8、深度學習與大數(shù)據(jù)智能成為支撐
|
|
9、大數(shù)據(jù)新職業(yè)
|
9、數(shù)據(jù)科學的興起
|
|
10、更大的數(shù)據(jù)
|
10、大數(shù)據(jù)生態(tài)環(huán)境逐步完善
|
|
|
|
|
2015年
|
2016年
|
|
1、大數(shù)據(jù)分析成為數(shù)據(jù)價值化的熱點
|
1、可視化推動大數(shù)據(jù)平民化
|
|
2、數(shù)據(jù)科學帶動學科融合，但自身尚未成體系
|
2、多學科融合與數(shù)據(jù)科學的興起
|
|
3、與各行業(yè)結合，跨領域應用
|
3、大數(shù)據(jù)安全與隱私令人憂慮
|
|
4、“物云移社”融合，產生綜合價值
|
4、新熱點融入大數(shù)據(jù)多樣化處理模式
|
|
5、平臺架構與基礎設施
|
5、大數(shù)據(jù)提升社會治理和民生領域應用
|
|
6、大數(shù)據(jù)的安全與隱私保護
|
6、《促進大數(shù)據(jù)發(fā)展行動綱要》驅動產業(yè)生態(tài)
|
|
7、計算模式：深度學習、眾包計算
|
7、深度分析推動大數(shù)據(jù)智能應用
|
|
8、可視化分析與可視化呈現(xiàn)
|
8、數(shù)據(jù)權屬與數(shù)據(jù)主權備受關注
|
|
9、大數(shù)據(jù)人才與教育
|
9、互聯(lián)網、金融、健康保持熱度，智慧城市、企業(yè)數(shù)據(jù)化、工業(yè)大數(shù)據(jù)是新增長點
|
|
10、開源系統(tǒng)將成為主流
|
10、開源、測評、大賽催生良性人才與技術生態(tài)
|
|
|
|
|
2017年
|
|
1、機器學習繼續(xù)成智能分析核心技術
|
|
2、人工智能和腦科學相結合，成大數(shù)據(jù)分析領域的熱點
|
|
3、大數(shù)據(jù)的安全和隱私持續(xù)令人擔憂
|
|
4、多學科融合與數(shù)據(jù)科學興起
|
|
5、大數(shù)據(jù)處理多樣化模式并存融合，流計算成主流模式之一
|
|
6、數(shù)據(jù)的語義化和知識化是數(shù)據(jù)價值的基礎問題
|
|
7、開源成大數(shù)據(jù)技術生態(tài)主流
|
|
8、政府大數(shù)據(jù)發(fā)展迅速
|
|
9、推動數(shù)據(jù)立法，重視個人數(shù)據(jù)隱私
|
|
10、可視化技術和工具提升大數(shù)據(jù)分析工具的易用性
|
數(shù)據(jù)科學的興起是自2013年來持續(xù)提及的預測。實質上目前的很多大數(shù)據(jù)應用并未涉及到模型，這也是導致門檻低、競爭激烈的重要原因。因為真正大數(shù)據(jù)的應用應該是"復雜數(shù)據(jù)的復雜分析"，該領域缺少對應的產品。
與需求相結合的數(shù)據(jù)科學能力（能解決最終應用問題的模型能力）是大數(shù)據(jù)公司的核心能力，舉一個例子，目前國內的圖像識別、人臉識別等，其核心算法（通常以卷積神經網絡為代表）絕大部分來自國外。再舉一個現(xiàn)實中的例子，市政公安部門很需要對各地區(qū)進行犯罪趨勢預測，以便對警務/行政資源進行合理分配，現(xiàn)實中基本缺少對應的解決方案。
受個人的局限，無法就每一個大數(shù)據(jù)產品前景做出判斷，但從各大數(shù)據(jù)公司的交流進行總結，往往產品聚焦的公司，差異化會更明顯，在特定領域更能做到對手所無法達到的高度，具有更強的生命力。
四、成本控制是唯一出路
2000年4月3日開始，美國Nasdaq股票狂跌，到了年底，中國的網站開始紛紛倒閉。至此，持續(xù)三年的互聯(lián)網第一波浪潮突然從峰頂?shù)敕骞?，互?lián)網的冬天來臨了。
2001年1月，阿里的賬面上只剩能維持半年多的700萬美元，更可怕的是，當時的阿里并沒有找到賺錢的辦法。陷入自創(chuàng)業(yè)以來最困難最危機的境地。
正如后來大家所知道的，阿里裁掉了美國、歐洲、香港、韓國的網站團隊，將所有的業(yè)務回到杭州這個中心，這是阿里巴巴第一次裁員，也是唯一一次大裁員。效果立竿見影，每月的成本立刻從100萬降到了50萬美元，阿里巴巴贏得了寶貴的一年喘息時間！
去掉所有的浮夸，控制成本，做最謹慎的預測，確保能夠活下去作為第一要義，是度過寒冬的唯一出路。
華為軟件人數(shù)不少，從營業(yè)收入上看過百億，應該是中國最大的軟件公司，但是大并不意味著能夠盈利。
我有個朋友獨自負責一個50人的小公司，主要提供大軟件公司所照顧不到的部分省市運營商的分析營銷服務，年營業(yè)收入千萬元，卻能做到利潤率20%以上。就其原因，她一個人既是CEO，又是唯一一個營銷經理兼客戶經理，給自己開比較低的工資，其他所有人工資都低于她，核心人員用股份來彌補，每年都在為下一個年度的項目生存提前較勁。
這是一個最典型的為了活下去而努力的公司，沒有絢麗的遠景規(guī)劃，沒有層級復雜的管理，全都投入生產，成本控制到極致。所以，她能活下去，或許還能不斷壯大。
對于這些善于成本控制、產品及市場目標明確的公司而言，寒冬或許是一個新的機遇。就如一個優(yōu)秀的獵手，在凜冽寒風中耐心的等待，等待著對手倒下，然后從容收割獨屬于自己的獵物。
