|
|
本帖最后由 assd2001 于 2014-8-4 00:59 编辑
1. 为什么需要敏捷数据分析？
就职于金融系统IT部，目前大数据方面的工作刚刚起步，纳入数据包含网银日至，电商平台日志，行内咨询，用户的交易明细等，目前面临的主要问题是：
a.业务部门不知道自己要的是什么，往往都是一些零散的想法，按照开发部门以往的瀑布式模型，不能很快的看到成效。目前已经搭建了类似的实验室环境，与生产数据对接，尽量提升版本交付频度，看到成效。
b.目前正在组建分析师团队，就如书中所说，团队成员基本都是通才，提供给其使用的数据分析平台面临着很大的挑战，提出的需求需要立即看到效果。
所以平时正在考虑开发工作中加入跟多的敏捷方法、工具与框架。
2. 如何做到敏捷数据分析？
目前的做法是通过搭建流数据处理平台实现，采用大内存技术，对数据进行自动采集、清洗、存储、计算和分发等款速处理，用于支持客户营销、风险监控、客户服务等，例如骗贷、反欺诈、大额资金流通预警等。现在看来还是比较保守，未来会引入更多灵活、高效的方法与工具。
3. 说说您读完试读样章后的启发
读了试读章节，目前正在读英文版【Agile.Data.Science】，书中阐述的方法融合了目前业界一些适用的框架，如spark、flask、bootstrap等，较现使用的Hadoop+j2ee更为灵活，我们会考虑在实验环境部署。数据科学作为一门新兴学科，本身内容不多，本书较为通俗的介绍了数据分析的一整套方法与工具，值得一读。 |
|
楼主: hwayw
IP卡
狗仔卡
发表于 2014-8-4 00:56
显身卡