摘要
大数据分析与应用才刚刚开始兴起，在与 AI、人工智能等新兴技术的结合下，大数据的机会也许要比大家想象的还要大。
虽然 Hadoop 在 2006年 已经出来，但 “大数据” 这个概念大概是在 2011 到 2014年 左右才真正火起来的。也就是在这段时间里，至少是在媒体或者专家眼里，“大数据” 成为了新的 “金子” 或者 “石油”。然而，在业界人士中认为，大家越来越感觉到这项技术已经在某种程度上陷入了停滞。2015年 可能是数据领域的那些酷小子转移兴趣，开始沉迷于 AI 以及机器智能、深度学习等许多相关概念的年份。
大数据
大数据现象在早期主要是受到了与一批骨干互联网公司（尤其是 Google、Facebook、Twitter 等）的共生关系的推动，这些公司既是核心大数据技术的重度用户，同时也是这些技术的创造者。这些公司突然间面对着规模前所未有的庞大数据时，由于本身缺乏传统的（昂贵的）基础设施，也没有办法招募到一些最好的工程师，所以只好自己动手来开发所需的技术。后来随着开源运动的迅速发展，一大批此类新技术开始共享到更广的范围。然后，一些互联网大公司的工程师离职去创办自己的大数据初创企业。其他的一些 “数字原生” 公司，包括崭露头角的独角兽公司，也开始面临着互联网大公司的类似需求，由于它们自身也没有传统的基础设施，所以自然就成为了那些大数据技术的早期采用者。而早期的成功又导致了更多的创业活动发生，并获得了更多的 VC 资助，从而带动了大数据的起势。
快速发展了几年之后，现在我们面临的是更加广阔、但也更加棘手的机遇：让中等规模到跨国公司级别的更大一批企业采用大数据技术。这些公司跟 “数字原生” 公司不一样的是，他们没有从零开始的有利条件。而且他们失去的会更多：这些公司绝大部分的现有技术基础设施都是成功的。那些基础设施当然未必是功能完备的，组织内部许多人也意识到对自己的遗留基础设施进行现代化应该是早点好过晚点，但他们不会一夜间就把自己的关键业务取代掉。任何革命都需要过程、预算、项目管理、试点、局部部署以及完备的安全审计等。大企业对由年轻的初创企业来处理自己基础设施的关键部分的谨慎是可以理解的。还有，令创业者感到绝望的是，许多（还是大多数？）企业仍顽固地拒绝把数据迁移到云端（至少不愿迁移到公有云）。
还需要理解的另一个关键是：大数据的成功不在于实现技术的某一方面（像 Hadoop 什么的），而是需要把一连串的技术、人和流程糅合到一起。你得捕捉数据、存储数据、清洗数据、查询数据、分析数据并对数据进行可视化。这些工作一部分可以由产品来完成，而有的则需要人来做。一切都需要无缝集成起来。最后，要想让所有这一切发挥作用，整个公司从上到下都需要树立以数据驱动的文化，这样大数据才不仅仅是个 “东西”，而且就是那个（关键的）“东西”。
在初创企业 / 供应商这一块，整个第一波的大数据公司（2009 至 2013年 间成立的那批）现在已经融了数轮的资金，企业规模已经得到了扩大，并且从早期部署的成功或失败中学到了东西，现在他们已经能够提供更成熟的、经受过考验的产品了。少数一些已经成为了上市公司（包括 2015年 上市的 HortonWorks 和 New Relic），而有的（比如 Cloudera、MongoDB 等）融资已经达上亿美元了。
这个领域的 VC 融资活动仍然很有生气，2016年 的前几周我们见证好几轮相当可观的后期阶段大数据融资事件：DataDog（9400 万美元），BloomReach（5600 万美元），Qubole（3000 万美元），PlaceIQ（2500 万美元）等。2015年 大数据初创企业拿到的融资额达到了 66.4 亿美元，占整个技术 VC 总融资额额 11%。
并购活动则开展得中规中矩（自从上一版大数据版图发布以来完成了 34 项并购，具体可参见附注）
随着该领域的创业活动持续进行以及资金的不断流入，加上适度的少量退出，以及越来越活跃的技术巨头（尤其是 Amazon、Google、IBM），使得这个领域的公司日益增多，最后汇成了这幅 2016 版的大数据版图。
2015年 无疑是 Apache Spark 之年。这个利用了内存处理的开源框架就开始引发众多讨论。自那以后，Spark 受到了从 IBM 到 Cloudera 的各式玩家的拥护，让它获得了可观的信任度。Spark 的出现是很有意义的，因为它解决了一些导致 Hadoop 采用放缓的关键问题：Spark 速度变快了很多（基准测试表明 Spark 比 Hadoop 的 MapReduce 快 10 到 100 倍），更容易编程，并且跟机器学习能够很好地搭配。
除了 Spark 以外，还出现了其他的一些令人兴奋的框架，比如 Flink、Ignite、Samza、Kudu 等，这些框架的发展势头也很好。一些思想领袖认为，Mesos（数据中心资源管理系统，把数据中心当作一台大计算资源池进行编程）的出现也刺激了对 Hadoop 的需求。
即便在数据库的世界里，新兴的玩家似乎也越来越多。多到市场已经难以承受的地步，这里发生了很多令人兴奋的事情，从图形数据库（如 Neo4j ）的成熟，到专门数据库的推出（如统计时序数据库 InfluxDB），乃至于 CockroachDB 的出现（受 Google Spanner 灵感启发诞生的融合了 SQL 与 NoSQL 长处的新型数据库）。数据仓库也在演变（如云数据仓库 Snowflake）。
结论
从很多方面来看，我们仍然处在大数据现象的早期发展阶段。尽管已经花费了数年时间，但减少基础设施来存储和处理大规模数据还只是第一阶段。AI/ 机器学习已经成为大数据应用层的一股迅猛趋势。大数据与 AI 的结合将会推动很多行业的惊人创新。从这个角度来说，大数据的机会也许要比大家想象的还要大。