查看: 2870|回复: 1

《Spark源码导读》深入浅出解剖Spark源代码,成就大数据之路

[复制链接]
招聘 : 数据库管理员
认证徽章
论坛徽章:
83
IT宝贝
日期:2013-11-15 18:40:242015年新春福章
日期:2015-03-06 11:57:31美羊羊
日期:2015-03-04 14:48:58马上加薪
日期:2014-02-19 11:55:14马上有对象
日期:2014-02-19 11:55:14马上有钱
日期:2014-02-19 11:55:14马上有房
日期:2014-02-19 11:55:14马上有车
日期:2014-02-19 11:55:14马上有车
日期:2014-02-18 16:41:112014年新春福章
日期:2014-02-18 16:41:11
发表于 2016-4-5 16:07 | 显示全部楼层 |阅读模式
课程介绍:
大数据,这是一个言必谈及大数据的时代,到处是大数据论坛,连很多企业都要准备搞大数据,在不学习大数据你就out了。
从Hadoop兴起的短短几年中,计算速度和效率已经不能适应的数据增长,从而出现了更为流行分布式计算框架,Storm和Spark, 分布式计算框架从离线计算到现在的实时计算和内存计算。Spark自从成为Apache顶级项目以来,版本更新越来越快,短短两年来就发布了十个版本,目前最新的版本是1.4,Spark SQL的成熟,DataFrame API出现,以及R API引入Spark,Spark的体系结构也越来越完整。技术更新越来越快,你想跟上时代的步伐,那么跟我来吧,一起学习Spark源代码导读,从代码入手,在实际的项目中能更快的解决问题,更深入的理解Spark。本课程从主要是分析Spark 1.4的源代码。

目标人群:
3年及以上Java开发经验或Scala开发经验,偏向后台开发的Java工程师,以及Java软件架构师,需要懂分布式系统,Hadoop,Hive等经验,具备较强的编码能力。课程对于Spark初学者,Spark开发人员及Spark运维人员都具有比较大的学习价值,特别是对于想从源代码深入研究的人员有更大的帮助,可以快速理解Spark的运行原理。

课程大纲:
第一课 Spark源码概述和开发环境准备
第二课 从WordCount引发的代码入口
第三课 作业提交及执行(Stage,DAGScheduler,TaskScheduler)  
第四课 分布式缓存,WEB UI和Standalone
第五课 Spark Streaming
第六课 DStream流数据处理及容错分析
第七课 Spark Streaming的实例应用
第八课 Spark SQL,DataFrame
第九课 SQL解析引擎,优化和执行引擎
第十课 Spark SQL CLi and Thrift JDBC/ODBC server
第十一课 Graph计算框架
第十二课 SparkR和MLlib机器学习

开课时间:
课程预计2016年10月31日开课,预计课程持续时间为14周

所需基础:
java
scala
hadoop

准备环境:
CentOS或Red Hat,eclipse或IntelliJ IDEA, Scala,JDK,Maven,sbt,Hadoop

收获预期:
深入理解和研究Spark及修改Spark代码的能力。

讲师介绍:
冰风影,超过12年的软件研发经验,曾在ERP,医学,互联网行业企业担任高级软件工程师、架构师,技术总监。具备软件产品设计和开发经验,丰富的大型项目架构设计和编码经验。目前主要的研究方向是大数据,分布式技术,Hadoop和spark。国内知名的开源分布式数据库中间件MyCAT的核心开发成员,在Mycat中主要的贡献是NoSQL(mongodb,SequoiaDB)支持,Spark的引入,目前此项目已经有超过10名活跃志愿者在参与和推进,是当下热门的移动互联网和云计算项目的必备基础中间件之一。

新颖的课程收费形式:“逆向收费”约等于免费学习,仅收取100元固定收费+300元暂存学费,学习圆满则全额奖励返还给学员!

本门课程本来打算完全免费,某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动,为了防止一些朋友在学习途中半途而废,浪费了讲师的付出,为此我们计划模仿某些健身课程,使用“逆向收费”的方法。
在报名时每位报名者收取400元,其中100元为固定 收费,另外300是暂存学费,即如果学员能完成全部课程要求,包括完成全部的书面和互动作业,则300元全款退回,优秀的学员还可以获得礼品 奖励。如果学员未能坚持到完全所有的学习计划任务,则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力!

课程授课方式:
1、 学习方式:老师发布教学资料、教材,幻灯片和视频,学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。
2、 学习作业:老师每周布置书面及互动作业,学员需按时按质完成作业。
3、 老师辅导:根据作业批改中发现的问题,针对性给予辅导,帮助大家掌握知识。
4、 结业测验:通过测验,完成学业。

您是否对此课程还有疑问,那么请 点击进入 FAQ,您的问题将基本得到解答
全国统一咨询热线 4008-010-006

课程现开始接受报名,报名方式
网上报名 请点击:Spark源码导读
咨询Email :edu01@dataguru.cnedu02@dataguru.cn
课程入门讨论咨询群:485625800(群内有培训公开课视频供大家免费观看)
咨询QQ: 2222010006 (上班时间在线)

认证徽章
论坛徽章:
0
发表于 2016-11-3 10:03 | 显示全部楼层
好东西值得学习

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表