【话题讨论】阿里云大数据产品ODPS横空出世：人人都能玩转大数据（已公布获奖名单）

wurunming

1.自建Hadoop集群是企业选择处理大数据的主流方法之一，相比之下，ODPS平台有哪些优势？
  现在的云化环境，基本上都是低廉的X86 服务器，就算低廉，要搭建起来，也还是需要一笔成本投资的。而HADOOP 集群和架构都是开源的，自由的组件，可以由企业或者个人自由按照需求来选择使用；而这种
  使用多多少少都有个了解、熟悉的过程，代价不小，有一定的门槛；我个人在想 ODPS 这方面应该是优势的，既然是商用的平台，那它就是节省投资，降低门槛，快速学些，方便使用。具体要使用ODPS 后才能决定。

2.ODPS是一个比Google BigQuery更强大的产品——不仅提供更加丰富的SQL语法，还将提供MapReduce编程模型和大规模机器学习建模能力。请谈谈您对这种ODPS的技术理解。

   简单的说，这个还是对HDFS 数据和MAPREDUCE 调度任务方法上的封装吧。

3.阿里将ODPS的内部技术正式商用化，这也标志着大数据进入了公共服务时代。请结合您的想象，谈谈怎么用ODPS来玩转大数据？

   这个还是要结合行业属性来使用吧，ODPS 可能更擅长于交易和大数据实时分析，处理；我想，如果ODPS平台 能把 淘宝里的数据共享开放能力出来，供第三方调用，从而获取相关数据，是可以继续去挖掘产品价值，经营好产品的。数据安全，很多人都提到了这点。这个我想，慢慢会改进的。

lidrema

1.自建Hadoop集群是企业选择处理大数据的主流方法之一，相比之下，ODPS平台有哪些优势？
         首先我不能确定ODPS平台与Hadoop集群相比有什么优势可在，ODPS只能说是阿里为了自己的业务发展，开发了这个数据处理平台。其原理，我想应该和Hadoop如出一辙。至于高性能计算（Spark and  Shark集群更高性能）、成本低廉、伸缩灵活，还需要时间来证明。

2.ODPS是一个比Google BigQuery更强大的产品——不仅提供更加丰富的SQL语法，还将提供MapReduce编程模型和大规模机器学习建模能力。请谈谈您对这种ODPS的技术理解。

         支持SQL和MapReduce两种编程模式是其的必然选择。当今大数据时代，类SQL语句的支持与MapReduce编程框架的使用，可以说已经是一种fashion了。但可惜的是，当我们仍然迷恋MapReduce编程模型的时候，Google已经全面放弃了MapReduce编程框架（Google Dumps MapReduce in Favor of New Hyper-Scale Analytics System）。非事务性的OLAP SQL模式满足日常的数据仓库分析需要，其实现基于飞天数据驱动的多级流水线并行计算框架，性能优于基于MapReduce的迭代运算实现(例如Hive)。MapReduce编程框架灵活易用，比SQL表述性更强。

3.阿里将ODPS的内部技术正式商用化，这也标志着大数据进入了公共服务时代。请结合您的想象，谈谈怎么用ODPS来玩转大数据？

        阿里开发的ODPS，是切合其商业模式。可能更擅长用户喜好、交易信息等数据的统计与分析，而且是一种离线模式。  

lidrema

Google Dumps MapReduce in Favor of New Hyper-Scale Analytics System：  http://www.datacenterknowledge.com/archives/2014/06/25/google-dumps-mapreduce-favor-new-hyper-scale-analytics-system/?from=timeline&isappinstalled=0

langxren

怎么只讲一半啊，继续%……

陌路巨额投入

1.自建Hadoop集群是企业选择处理大数据的主流方法之一，相比之下，ODPS平台有哪些优势？

ODPS平台优势：
      （1）高计算性能：海量数据存储与大规模离线数据分析服务基于MapReduce框架支持直接使用SQL语句对海量数据进行离线分析。
　　（2）系统稳定：系统提供错误监控机制，对于故障采取自动迁移，采用多份备份来确保数据的安全性。
　　（3）操作简单，用户界面友好：开放数据处理服务提供桌面式的用户操作平台，用户可以通过桌面大图标非常便捷地找到需要使用的功能模块。
　　（4）多用户环境：以项目空间的方式为不同用户提供数据和计算资源的隔离。可以在自己的项目空间里自定义数据表，作业和工作流，还通过授权方便灵活地共享数据。
　　（5）高扩展性：基于飞天大规模分布式计算系统，可利用数千台机器的计算资源同时运算，随着计算资源的加入，计算效率线性扩展。
　


2.ODPS是一个比Google BigQuery更强大的产品——不仅提供更加丰富的SQL语法，还将提供MapReduce编程模型和大规模机器学习建模能力。请谈谈您对这种ODPS的技术理解。

       支持更丰富的SQL语法，提供MapReduce编程模型和机器学习建模能力，可以服务更多应用场景。ODPS基于多集群架构提出一种理念，即“以在线服务的方式，提供离线计算服务”，其架构图如图所示。ODPS支持少量在线计算和大量离线计算，其框架包括一个主控集群和多个计算集群，主控集群用于在线计算和总体调度，计算集群用于离线计算；在主控集群内，ODPS Worker用于处理简单的在线计算，Scheduler用于离线任务调度。主控集群以在线方式向外提供服务，如果查询是在线任务，就由ODPS worker计算后直接返回；如果是离线任务，就由Scheduler进行调度，将离线任务交给Executor，再由Executor交给计算集群。

3.阿里将ODPS的内部技术正式商用化，这也标志着大数据进入了公共服务时代。请结合您的想象，谈谈怎么用ODPS来玩转大数据？   

         手机、电视、手表、汽车、空调……这些工业时代的经典产品，现在都变成了互联网终端。谁说电饭煲、鞋子、衣服不会呢？如果未来的制造工厂都变成互联网公司，数据将成为最基本的生产要素。你不懂算法、不会建模、不会分析，没关系，那些有数据分析能力的公司会帮你做。我觉得ODPS以后都会加入到这些终端设备。所有的物品都也许会变成互联网终端。

liuhuoxingkong

陌路巨额投入 发表于 2014-7-9 21:21
1.自建Hadoop集群是企业选择处理大数据的主流方法之一，相比之下，ODPS平台有哪些优势？

ODPS平台优势： ...

图3在哪里。。。

陌路巨额投入

liuhuoxingkong 发表于 2014-7-9 22:55
图3在哪里。。。

忘了加上去。。。。

duan2down

曾经做过几年的数据仓库,几百T的,在这里喷几句.
大数据,大力丸! 如果公司不了解自己的客户,指望阿里万能的通用钥匙一挥,问题都解决了,你信吗?  
---每个公司都有自己的个性/流程/长处/缺点,指望阿里的"通用产品"解决你公司的所有数据问题,就像指望**牌大力丸,包治百病一样.

出来混,欠的,早晚要还的!  太多公司,上系统都是"多快省",把"好"挂在嘴边,没好好做架构/流程/文档/度量/监控,总觉得没用,等到越来越大,才发现,改一句,都要分析很久/或很大风险.
现如今,大数据来了,开张小支票,指望它一下把过去旧账一笔勾销,你信吗?
---基础/集成/运作,原来的业务系统,都没搞好,指望大数据成带头大哥(还便宜),替你销账,做梦吧.

业务系统/流,很棒,大数据能锦上添花;
要么,就是忽悠人的KPI而已.

没有自己的管理与团队,指望**牌大力丸,只不过是: 花大钱,不办事,吹大牛

blueiceyoung

duan2down 发表于 2014-7-10 08:47
曾经做过几年的数据仓库,几百T的,在这里喷几句.
大数据,大力丸! 如果公司不了解自己的客户,指望阿里万能的 ...

完全同意楼上观点，N年前就证明的断言：世界上没有银弹，指望第三方服务商，用诱人的报价将自己N年来积弊的脏数据、乱数据在一夜之间洗净、洗白、变废为宝，是痴人说梦，GIGO（garbage in, garbage out），希望如阿里这样有实力、有想法的公司能把服务的领域前伸，从业务流程、系统设计、数据归集上提升国内企业的能力和等级。

qingduo04

shoushuai2002 发表于 2014-7-9 11:51
都敢时髦，玩大数据库，这就是中国人在追逐技术上的毛病

阿里的ODPS 应该不仅仅是赶时髦，更有一种精神和技术在里面