ITPUB论坛-中国最专业的IT技术社区

 找回密码
 注册
查看: 40604|回复: 15

【IT名人堂】专访永洪科技CEO:畅谈商业智能搬运大数据背后之谜

[复制链接]
认证徽章
论坛徽章:
127
目光如炬
日期:2014-12-01 06:00:04火眼金睛
日期:2015-02-01 06:00:04目光如炬
日期:2015-01-26 06:00:04目光如炬
日期:2015-02-16 06:00:03火眼金睛
日期:2015-03-01 06:00:03目光如炬
日期:2015-03-02 06:00:13慢羊羊
日期:2015-03-04 14:53:33目光如炬
日期:2015-07-26 22:00:00目光如炬
日期:2015-07-26 22:00:002015年新春福章
日期:2015-03-06 11:58:39
发表于 2015-3-20 15:37 | 显示全部楼层 |阅读模式

想象一下,今天中国互联网每60秒可以发生哪些事情?60秒内,百度搜索达到450万次,微博发送80万条,淘宝发生8000笔交易,QQ空间照片上传15万张,数据就像滚雪球一样,越滚越大,不管你是不是喜欢,整个庞大的数据生态圈就这么悄悄的席卷而来了。根据IDC提供的研究报告,2020年预计全球新建和复制的信息量已超40ZB,是2012年的10倍,而中国数据量将超8ZB,比2012年增长22倍,快速膨胀的数据量促进了商业智能市场的发展。



比尔盖茨曾经说过:“如何搜集、管理和利用信息将决定您的胜负。”商业智能正式在这种需求下诞生的,那么究竟什么是商业智能呢?它与我们的生活是否息息相关呢?从小型的超市系统,到银行、航空、水利、电力、铁路运输等大型系统,商业智能的应用无处不在。商业智能技术早已不再是大企业的专利,其应用领域已经拓展至中小规模的企业,而在这新一轮的变革中,永洪在商业智能领域扎根三年了。对你而言,商业智能是近在咫尺,还是远在天边呢?本期名人堂皮皮邀请到了搬运大数据的亨利,永洪科技CEO 何春涛坐镇,大数据时代下,商业智能应用暗藏哪些玄机?



皮皮(Q1):何总,您好!很高兴有机会采访到您,我了解到您曾经在商业智能领域的跨国企业里担当研发副总裁,而2013年是您人生中的一个转折点,在这一年里,您选择了创业,能不能分享下您当时创办永洪科技的初衷?

何春涛(A1):创业之前的2012年,国内BI市场份额大致是这样的:Cognos 24%、BO 24%、BIEE 16%,如果再算上MSTR、Microsoft等等,可以说被国际厂商长期垄断,而国际市场更不可能有本土厂商的立足之地。作为BI行业的研发人员,这样的局面看上去让人心痛。自己年纪也不小,考虑了一段时间,就决定出来折腾一把,希望能改变一下格局。


艾瑞咨询是我们持续合作的大客户之一,为我们Pre-A轮融资提供了坚强的后盾。后来,我们又同美国经纬连续做了数千万的A轮和A+轮融资。到今年年初,我们基本确定B轮融资,目前正在操作过程中。创业的路很难,好在认可永洪的客户越来越多,有一帮优秀的战友始终在一起努力,还有一些投资界不错的朋友对我们的给力支持。


皮皮(Q2):谈到大数据,除了来自数据库、结构化文件、消息队列和应用系统产生的结构化数据外,还有社交媒体、用户点击评论等产生的非结构化数据,当然还包括电信行业比如呼叫记录、摄像头、ATM机等传感器产生的数据,而商业智能平台是如何做到读懂各种类型的数据源的?

何春涛(A2):商业智能平台,几乎都是通用软件。也就是说,可以在各个行业各种场景中使用。针对您说的这个问题,一般用两种办法来解决:如果一个数据源遵循开放标准,例如ODBC、JDBC,我们可以通过开放标准接入;如果它不遵循开放标准,在软件的数据建模层我们有自己的标准,一般通过提供适配器将这些非结构化数据接入。事实上,很多不遵循开放标准的大数据,一般也有成熟的Open API,比如微信公众号的企业数据。通过Open API,我们可以连接社交、电商、搜索等领域的大数据,将数据以结构化或者非结构化形式进行存储,再进行交互式分析和深度分析。


皮皮(Q3):如果把企业经营和管理的数据比喻成“矿石”,那么商业智能的作用就是将这些“矿石”转化成“精矿”。商业智能到底给我们的生活带来了哪些便利呢?能不能结合一些实际的案例,和我们分享下商业智能采矿的处理过程。

何春涛(A3):永洪科技有一句口号:大数据小数据,一天实现可视化分析。事实上,这是数据分析行业的主流发展趋势:将数据做轻度清洗,再进行轻度建模,之后将细节数据直接入库。这里的数据仓库一般具备高性能计算能力,用户提交的各种数据分析请求,都可以直接基于细节数据进行实时计算,在几秒之内返回结果。



   这样的数据分析流程不再需要IT部门深度参与,主要由商业用户自己完成,而IT用户主要做好轻度ETL、轻度建模、平台监控等工作。大家可以阅读以下我的另一篇文章《谁是BI平台的深度用户? 》,链接是:

http://mp.weixin.qq.com/s?__biz=MzAwNzAwNjMyMw==&mid=203465261&idx=1&sn=3a55f0f826431966d8d2f9eb9231ac1d&scene=1&from=groupmessage&isappinstalled=0#rd

    拿我们BI的一个客户举个例子吧。国内最大母婴社区宝宝树将永洪BI应用于社区数据分析,主要用户不是IT人员,而是业务人员。业务人员通过行为数据和搜集到的孩子年龄、孕产期等关键数据,给用户做出精准画像。积累关键数据后,业务团队会做深度分析。

比如上周有多少新用户?推的新品收入增长怎样?上个月的新用户这个月的购买情况如何?用户的平均回购周期相对环比是缩短了还是延长了?各渠道引流占比有何变化?通过在BI平台上进行交互式分析,这些问题的答案很容易浮出水面,继而他们就知道下一步如何来调整产品、推广和销售计划了。


大家知道,BAT等互联网巨头都认为自己是大数据企业,数据已经成为了企业的核心资产。如果我们不收集存储好“矿石”,或者不开展有效的“精炼”工作,在商业竞争中将处于下风。BAT这样的互联网巨头一般都有多达几十甚至上百人的IT研发团队,他们的实力比较强,主要基于开源技术按需定制数据分析平台,完成数据的存储、建模、分析、预测工作。当然,对绝大多数企业来说,通过与永洪科技这样的优秀BI厂商合作,将是性价比和成功率都很高的选择。


皮皮(Q4):商业银行的网点非常多,每天的现金流都不一样,那么银行面临的问题就来了,怎么解决或者平衡各网点的现金流问题?银行能否利用商业智能为我们提供各种智能化和个性化的服务呢?对于航空公司来讲,订票系统有没有可能根据个人的历史订票记录去预测未来哪些潜在客户在什么时段内预订机票呢?发电企业如何根据历史发电量、历史增长率和其他因素去预测未来几年的用电需求呢?这些貌似与我们息息相关的困局能否通过商业智能来解决或者完善呢?

何春涛(A4):对于怎么解决或者平衡各网点的现金流问题,商业智能可以采取的手段比较多。一方面我们可以根据历史数据进行机器学习,为网点建立合适的现金配备模型;另一方面为了应对临时需求,在现金配备大大高于或者低于现金需求的中位值时系统及时触发报警,这样银行网点就能及时验证报警并采取修复手段。


说到金融行业,不少股份银行是基于永洪BI建立了自己的营销系统,目的之一就是为了给金融客户提供更好的个性化服务。基于原始数据,系统会首先进行“用户画像”,比如基于AUM值将用户分层,基于理财偏好将用户分群,再提供个性化的智能服务。比如用户打开手机银行终端,他看到的前几个理财产品已经是个性化的。

图片1.png

国家电网以及一些东部大省的电力公司都是我们的客户,他们在BI领域的建树也是令人称道的。随着智能电表的普及推广,他们的监控能力在某些场景中已经精确到每个用电用户,通过BI平台,一旦用电量只剩50度电时,就会发消息温馨提示一下用电客户。


皮皮(Q5):实时计算一般都是针对海量数据进行的,一般要求为秒级。对于大型网站的流式数据,比如网站的访问PV/UV、用户访问了什么内容、搜索了什么内容等,实时的数据计算和分析可以动态实时地刷新用户访问数据,展示网站实时流量的变化情况,分析每天各小时的流量和用户分布情况等。这些数据源是实时的不间断的,要求用户的响应时间也是实时的,那如何实现大数据实时计算与流计算呢?

何春涛(A5):我们在电信运营商有一个场景,是对各种上网数据进行病毒和安全监控,防止手机等终端感染病毒或受到攻击。记得当时支撑这个场景的刀片服务器接近200台,即将超过400台。整个集群横向分为三层:分别是实时计算层、流计算层、离线计算层。我们对集群进行了纵向分割,把这个大集群变成了小集群,以去除服务器和网络之间的干扰。这样一来,整个集群可以实现快速水平扩展,而处理能力随着集群规模的增长,也实现了线性增长。


实时计算和流计算可以采用一些开源框架,譬如Storm、Spark等,在设计架构时,我们重点测试了一下Storm,在未经深度调优的前提下,从收集的实验数据来看,处理能力达不到系统的设计要求;我们也试着寻找国内外有无在类似规模上使用Storm的场景,结果也不太好。


这些年大数据分析成为了我重点发力研究的一个方向,在分布式领域我拥有一些专利技术。这些技术在类似的项目中发挥了关键作用。不管是采用开源还是闭源技术,我们需要灵活运用分布式计算、内存计算、分布式通信、可靠性等领域的知识和经验,才可能更好地实现大数据实时计算与流计算。


皮皮(Q6):作为商业智能的核心,数据仓库需要将历史细节性数据归档到离线的存储设备上,主要用来支持企业管理人员的决策分析,那么它究竟与数据库有什么区别呢?怎么做到数据的备份与恢复、数据归档、系统监控?

何春涛(A6):一般地,数据仓库是一个逻辑概念,而数据库是一个物理概念。数据库系统可以很好的解决事务处理,实现对数据“增删改查”等功能,但是却不能提供很好的决策分析支持,事务处理优先考虑的是响应的及时性,决策分析需要考虑的是数据的集成性和完整性,将大部分数据从OLTP系统中剥离出来,就形成了今天的数据仓库系统。

打造企业级数据仓库,可以用合适的数据库承担数据存储和计算功能。数据备份和归档,在以前往往用磁带做数据的定期备份,而现在的大数据中心,很多采用Hadoop承担数据存储和离线计算功能。Hadoop的分布式文件系统HDFS自动完成数据的备份与恢复工作,而系统监控也有类似Ambari等开源项目可以使用。


皮皮(Q7):拿监控行业举例吧,监控行业的大数据,以一个部署了1万个摄像头的中等城市为例,假定每个摄像头每秒压缩视频数据量为1Mb(比特),则一天共产生108TB的视频录像,而城市犯罪信息等重要数据也有几十年的沉淀。面对海量的监控和警务数据,大数据平台能否实现智能化的信息分析和预测?

何春涛(A7):基于监控数据的分析和预测,技术已经比较成熟,不管是分析还是预测,很多人做得不错,成功案例也不少,举个例子来讲,在美国洛杉矶,警方通过对数据分析,能预测出来12小时内哪个地区最有可能发生犯罪案件。非常有趣的事实是, 关于犯罪预测,其中有一个重大起因源于地震预测。 洛杉矶警察局采用了一套用于预测地震后余震的数学模型:大地震之后, 在附近地区随后发生余震的概率很大。借助这个数学模型,洛杉矶警察局把过去80年内的数百万个犯罪纪录输入了模型。数据显示,当某地发生犯罪案件后, 不久之后附近发生犯罪案件的概率也很大,这与大地震之后余震发生的模式十分吻合。刚开始大家半信半疑,到后来经过验证,这一系统已经成为了警方分配警力、安排巡察的重要依据。

在英国,英国政府通过高效使用公共大数据技术每年可节省约330亿英镑,相当于英国每人每年节省约500英镑。


皮皮(Q8):正所谓百闻不如一见,一图胜千言,足以见得人类离不开可视化。而数据的可视化可以堪称是技术与艺术的完美结合,是整个商业智能和分析平台的最上层展现环节。主流的数据可视化工具有哪些?有的免费,有的付费,在数据可视化工具的选择中,有哪些需要考虑的因素?它们适合什么样的应用场景?

何春涛(Q8):对于主流的数据数据可视化,国际厂商有QlikView、Tableau,国内永洪科技的Z-Dashboard不错。开源项目也很多,单Web端国际上就有D3、InfoVis、Processing等知名项目,国内百度的ECharts也做得不错,可视化和统计分析工具上,像Excel、Giigek Chart API、R语言用的人也非常多。

图片2.png

初了考虑是否开源以外,大家在可视化工具的选择上,也会关心这款可视化工具是否操作简单、可视化效果是否丰富、数据集成是否支持多种方式、数据源的兼容性等因素。


如果你有5个甚至更多的Developer,能够承担项目失败的风险,需求不经常变动,可以考虑基于开源项目。如果你希望有一款工具能很让你卓有成效地进行交互式可视化分析,建议选择与优秀的数据分析厂商合作。


互动时间:2015年3月20日-4月14日


互动奖励:本期名人堂永洪科技CEO坐镇,为大家答疑解惑,欢迎各位踊跃提问,活动结束后我们将评选最优会员赠送2015年中国数据库技术大会门票1张。更多嘉宾信息,请查看名人堂栏目:http://www.itpub.net/star/


作为国内数据库与大数据领域最大规模的技术盛宴,2015第六届中国数据库技术大会(DTCC)即将于2015年4月16日-18日在北京新云南皇冠假日酒店震撼登场。大会以“大数据技术交流和价值发现”为主题,云集了国内外顶尖专家,大会特别开设了《大数据下商业智能与数据库》专场11,届时来自永洪科技的CEO将在大会现场发表演讲,欢迎大家报名:http://dtcc.it168.com/


求职 : 数据库管理员
招聘 : Java研发
认证徽章
论坛徽章:
6329
ITPUB9周年纪念徽章
日期:2014-05-02 10:36:402011新春纪念徽章
日期:2014-12-29 12:11:142010广州亚运会纪念徽章:卡巴迪
日期:2014-08-06 08:44:25马上加薪
日期:2017-01-10 16:49:34马上有钱
日期:2017-01-10 16:49:34马上有钱
日期:2014-12-26 15:39:08马上有钱
日期:2014-12-26 15:39:08马上有房
日期:2014-12-26 15:42:55马上有车
日期:2017-01-10 16:49:34马上有钱
日期:2014-12-31 17:16:56
发表于 2015-3-20 16:27 | 显示全部楼层
我们部门也在做图形展示控件。
你们的Z-Dashboard 是开源免费的,还是?

使用道具 举报

回复
求职 : 数据库管理员
招聘 : Java研发
认证徽章
论坛徽章:
6329
ITPUB9周年纪念徽章
日期:2014-05-02 10:36:402011新春纪念徽章
日期:2014-12-29 12:11:142010广州亚运会纪念徽章:卡巴迪
日期:2014-08-06 08:44:25马上加薪
日期:2017-01-10 16:49:34马上有钱
日期:2017-01-10 16:49:34马上有钱
日期:2014-12-26 15:39:08马上有钱
日期:2014-12-26 15:39:08马上有房
日期:2014-12-26 15:42:55马上有车
日期:2017-01-10 16:49:34马上有钱
日期:2014-12-31 17:16:56
发表于 2015-3-20 18:04 | 显示全部楼层
重新看了一遍,我觉得国内图形化展示自己开发的基本没有..

楼主的展示与我们部门的Dashboard如出一辙

使用道具 举报

回复
认证徽章
论坛徽章:
21
青年奥林匹克运动会-摔跤
日期:2014-09-02 13:18:372015年新春福章
日期:2015-03-06 11:57:31慢羊羊
日期:2015-03-26 12:44:28懒羊羊
日期:2015-05-27 20:10:32沸羊羊
日期:2015-06-24 16:33:57暖羊羊
日期:2015-06-27 20:43:56秀才
日期:2015-08-28 09:17:41秀才
日期:2015-09-11 10:43:06摩羯座
日期:2015-12-19 10:11:092015年新春福章
日期:2015-03-04 14:51:12
发表于 2015-3-20 21:29 | 显示全部楼层

使用道具 举报

回复
发表于 2015-3-20 21:53 | 显示全部楼层
有的同学对永洪科技还和我本人缺乏了解,我们的图形引擎必须是自研的,不然很难打造一流的软件。在我的职业生涯中,开发过两个图形引擎,作品也曾获得过几次JDJ和JavaOne奖项。当然过去不代表将来,通过更充分的接触和沟通,相信我们会更加了解彼此。

使用道具 举报

回复
求职 : SAP实施
认证徽章
论坛徽章:
265
巴塞罗那
日期:2016-01-29 16:40:32巴塞罗那
日期:2016-01-29 16:40:32巴塞罗那
日期:2016-01-29 16:40:32巴塞罗那
日期:2016-01-29 16:40:32巴塞罗那
日期:2016-01-29 16:40:32芝加哥公牛
日期:2017-02-07 09:03:42芝加哥公牛
日期:2017-02-07 09:03:43芝加哥公牛
日期:2017-02-07 09:03:43芝加哥公牛
日期:2017-02-07 09:03:43芝加哥公牛
日期:2017-02-07 09:03:43
发表于 2015-3-20 21:56 | 显示全部楼层
支持大神

使用道具 举报

回复
论坛徽章:
20
马上有钱
日期:2014-03-05 18:13:002013年新春福章
日期:2013-02-25 14:51:24ITPUB 11周年纪念徽章
日期:2012-10-09 18:05:072012新春纪念徽章
日期:2012-01-04 11:49:54ITPUB十周年纪念徽章
日期:2011-11-01 16:19:41迷宫蛋
日期:2011-11-07 14:46:51茶鸡蛋
日期:2011-07-11 20:36:00咸鸭蛋
日期:2011-06-30 15:11:57辩论纪念章
日期:2010-11-15 09:41:552010广州亚运会纪念徽章:网球
日期:2011-05-11 14:11:47
发表于 2015-3-21 12:47 | 显示全部楼层
看来永洪BI做得很深啊

使用道具 举报

回复
论坛徽章:
56
2017金鸡报晓
日期:2017-01-10 15:39:05ITPUB15周年纪念
日期:2016-10-13 13:15:342017金鸡报晓
日期:2017-02-08 14:09:13秀才
日期:2017-02-22 15:14:12秀才
日期:2017-02-22 15:16:26秀才
日期:2017-02-22 15:18:00秀才
日期:2017-05-09 11:37:55秀才
日期:2017-07-11 14:19:35
发表于 2015-3-22 16:55 | 显示全部楼层
你好,数据可视化,侧重点是数据挖掘,还是数据统计,与数据精准查询,有哪些区别,可以通过现有案例讲讲么?

使用道具 举报

回复
认证徽章
论坛徽章:
246
Jeep
日期:2013-10-08 09:46:02Jeep
日期:2013-11-17 09:59:04Jeep
日期:2013-11-22 17:15:17Jeep
日期:2013-10-08 16:38:27Jeep
日期:2013-11-22 14:53:46Jeep
日期:2013-09-04 19:17:57Jeep
日期:2013-11-22 17:15:17Jeep
日期:2013-11-08 23:59:45季节之章:冬
日期:2014-12-25 16:20:50季节之章:秋
日期:2014-12-26 11:54:29
发表于 2015-3-23 15:56 | 显示全部楼层

使用道具 举报

回复
发表于 2015-3-23 16:09 | 显示全部楼层
bfmo 发表于 2015-3-22 16:55
你好,数据可视化,侧重点是数据挖掘,还是数据统计,与数据精准查询,有哪些区别,可以通过现有案例讲讲么 ...

产品的Data Discovery功能满足大多数商业用户的数据可视化和数据分析的需求,Advanced Discovery功能满足专业用户的数据挖掘和机器学习需求。您可以去网站浏览一些案例:www.yonghongtech.com

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则

SACC2017购票7.8折优惠进行时

2017中国系统架构师大会(SACC2017)将于10月19-21日在北京新云南皇冠假日酒店震撼来袭。今年,大会以“云智未来”为主题,云集国内外顶级专家,围绕云计算、人工智能、大数据、移动互联网、产业应用等热点领域展开技术探讨与交流。本届大会共设置2大主会场,18个技术专场;邀请来自互联网、金融、制造业、电商等多个领域,100余位技术专家及行业领袖来分享他们的经验;并将吸引4000+人次的系统运维、架构师及IT决策人士参会,为他们提供最具价值的交流平台。
----------------------------------------
优惠时间:2017年8月30日前

活动链接>>
TOP技术积分榜 社区积分榜 徽章 电子杂志 团队 统计 虎吧 老博客 知识索引树 读书频道 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档 | IT博客
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛 | SAP ERP系统
CopyRight 1999-2011 itpub.net All Right Reserved. 北京皓辰网域网络信息技术有限公司版权所有 联系我们 网站律师 隐私政策 知识产权声明
京ICP证:060528号 北京市公安局海淀分局网监中心备案编号:1101082001 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表