阿里云ODPS，大数据进入电厂模式

 摘要 : 开放式大数据平台的出现无疑有助于上述问题的解决。蒸汽机时代的能源供给是分散的，交流电的发明让电力时代的能源供给在“云”端，这一进步激发第二次工业革命让所有人可以用上电能。阿里ODPS实际上就是将大数据基础能力从分散变为集中，让大数据更早进入工业实践时代。

号称是阿里云截止目前最重要的产品，“核武级”大数据平台ODPS近日正式商用。简单地将，通过ODPS在线服务，小型公司花几百元即可分析海量数据。ODPS可在6小时内处理100PB数据，相当于1亿部高清电影，联想到此前百度的大数据引擎，华为在去年发布了大数据平台产品FusionInsight，以及天河2号超级计算机的能力开放，可以看到中国正在经历一波大数据能力开放潮流。

 ODPS  是什么？开放式大数据引擎

ODPS全名Open Data Processing Service，开放数据处理服务。这一服务是PaaS（平台即服务）云计算平台催生的产物，ODPS将阿里拥有的大数据存储和处理能力开放出来供外部公司使用，可能是大型公司，也可能是中小企业甚至创业团队。最少支付几百元便可在线快速完成海量数据的处理。

ODPS项目在5年之前便已启动，但关于其未来走向、平台定位、与阿里云其他业务之间的关系上存在诸多不清晰之处，发展缓慢。直到去年10月，阿里云成功实施单集群5000台项目以及跨机房业务调度，在此基础上，ODPS的发展开始加速，并于今年正式商用。

开放之前，ODPS通过阿里小贷业务、阿里妈妈广告平台等业务进行了验证。通过ODPS进行卖家的信用额度评估、用户点击行为预测模型训练。阿里的整个淘宝系和支付宝数据仓库，都架设在ODPS上，显而易见这是阿里大数据最重要的基础软件部署。为了验证ODPS的计算能力，阿里邀请华大基因利用ODPS进行基因测序，耗时不到传统方式的十分之一；邀请药监部门利用ODPS，全程监管药品流向，解决假药问题。 现在则将验证过ODPS正式开放出来商用，实际上是将阿里能够承载双十一和支付宝平台宏大的交易量的计算和数据能力开放出来。

 阿里野心：做大数据的军火商

在阿里”数据、平台和金融”战略支撑下，大数据已成为阿里的重中之重。马云在多处场合提到人类正在进入DT时代。

对大数据最有话语权的美国公司莫过于Google和Amazon，Google有举世闻名的数据中心、基于Colossus的云，比MapReduce更快的Caffeine，分布式存储Colossus比GFS还要先进，还有大数据分析管理工具Dremel、 PowerDrill、Instant和Pregel，基于这些，Google可以做到世界杯8强的准确预测和流感趋势预测；Amazon除了AWS是最早的IaaS平台外，去年曾宣城可以通过大数据预测用户的购买行为进行提前发货。

对应到中国则是阿里和百度，此前阿里曾与气象局合作为其提供大数据服务，众所周知，气象科学一直是非常典型的海量数据型业务，在双十一期间还可以预测用户余额宝的消费取现行为，菜鸟网络这一开放式的物流体系的智能调度同样极度依赖大数据。百度则具有世界杯、旅游、高考预测服务，世界杯预测准确率超过谷歌。

阿里和百度思路并不相同，阿里做的是大数据的集市，拥有数据的可以提交上去，阿里提供基础设施和能力，第三方亦可帮助数据拥有者进行挖掘分析。阿里更多是在搭建数据的流通、收集和分享的底层架构。这些底层架构是其他公司利用大数据武器，阿里则充当军火商的角色。而ODPS正是属于底层架构的一部分，它是可以为所有公司和开发者所有的大数据能力。

ODPS宣称可与Google和Amazon等顶级玩家进行技术对决。除了在支持的数据规模和处理时间丝毫不逊色之外，ODPS还拥有更强的处理能力，未来将比Google BigQuery更强大，支持更丰富的SQL语法（BigQuery最多支持SQL Like语句），还将提供MapReduce编程模型和机器学习建模能力。在去年阿里云实现了5000节点单集群能力，并可实现跨机房调度，在计算基础设施上赶上国外巨头的水平。ODPS则是在软件层面的大数据技术水平体现。

 大数据能力高度集中进入电厂模式

工业革命之后人们对能源和材料进行了充分的应用，信息革命带给人们最大的财富实质是其所比特化的数据，但在过去几十年人们对数据的利用还处于蛮荒时代。随着大数据概念对深入人心，企业、科研教育机构、政府部门对大数据愈发重视，人类已经进入大数据时代。

大数据正在落地，交通、体育、卫生、教育、电商等诸多领域均已在应用大数据。不过，这个领域的玩家几乎都是清一色的科技巨头，Google、Amazon、微软、阿里和百度等公司走在最前面。运营商、银行、政府部门虽然拥有海量数据但却鲜有典型应用案例，一些中小型公司要么缺乏数据，要么缺乏数据挖掘能力。

开放式大数据平台的出现无疑有助于上述问题的解决。蒸汽机时代的能源供给是分散的，交流电的发明让电力时代的能源供给在“云”端，这一进步激发第二次工业革命让所有人可以用上电能。阿里ODPS实际上就是将大数据基础能力从分散变为集中，让大数据更早进入工业实践时代。

阿里最近的布局体现了对大数据开放的重视。过去阿里云只是提供基础设施租赁的IaaS，现在则走向IaaS＋PaaS＋SaaS结合，譬如中小站长可以将数据上传给阿里云搜索进行索引，这样中小网站就可以轻松拥有站内搜索功能。阿里云搜索的思路正是ODPS的雏形：都是将数据交给“云”处理。

华为此前推出了大数据处理平台FusionInsight，其没有任何互联网积累，鲜有消费型大数据，必然会倾向于它所擅长的底层通信和设备支持。百度大数据引擎拥有三件套：开放云、数据工厂和百度大脑，在通用型大数据领域颇具实力。阿里擅长的则是商业数据的处理，可以将基础设施和软件能力一起提供出来。未来中国的大数据能力，恐怕会像阿里们高度集中，它们是大数据的“电老大”，其他公司按需消费其大数据能力。

 作者微博@互联网阿超，微信SuperSofter