ITPUB论坛-中国最专业的IT技术社区

 找回密码
 注册
查看: 434|回复: 0

[精华] 【微学堂】第51期|百度外卖大数据技术分享——大数据分布式调度系统

[复制链接]
认证徽章
论坛徽章:
7
弗兰奇
日期:2017-08-14 15:26:51蒙奇·D·路飞
日期:2017-10-26 13:59:37目光如炬
日期:2017-11-05 22:00:01目光如炬
日期:2017-11-12 22:00:01妮可·罗宾
日期:2017-11-15 13:02:50目光如炬
日期:2017-11-19 22:00:00技术图书徽章
日期:2017-11-22 17:04:47
发表于 2017-11-1 12:27 | 显示全部楼层 |阅读模式
在当下快节奏的社会中,人们依然追求高品质的生活,外卖行业的用户群体已经迅速扩大,有数据预测2020年外卖用户规模将达到6亿。根据不同的用户需求和场景进行匹配,正是依靠大数据技术来完成,大数据技术已经成为外卖平台的硬实力。
百度外卖自正式推出以来,通过深耕大数据技术,迅速在白领外卖市场占领高地。百度外卖的大数据研发部门不仅为平台的业务开发、运营分析和战略分析提供了高效、可靠的数据产品服务,也为平台品质和用户体验的提升提供了支撑和保障。
IT168微学堂携手百度外卖大数据研发部7位技术实力干将,为爱学习的你,奉上一场大数据技术盛宴。


分享主题:大数据分布式调度系统

分享时间:2017年11月2日(周四)20:00

特邀讲师:段炜 百度外卖大数据架构高级研发工程师
2012年本科毕业于吉林大学软件工程专业,就职当当网,负责订单系统的相关研发工作,着重大量级订单数据分布式并行处理技术,解决并优化了相关性能问题,同时也对大数据架构及分布式系统产生了浓厚兴趣并进行了深入研究。2016年加入百度外卖大数据研发部,现任职架构高级研发工程师,负责一系列大数据基础架构及系统的设计、研发工作,协助ETL及OLAP进行例行生产及数据交付,并致力于HADOOP生态的研究及维护、大数据存储及查询引擎的二次开发及优化。


分享内容:
介绍针对于大数据领域数据生产及交付所设计研发的系统级应用--大数据分布式调度系统。区别于其他的调度系统,本系统根据大数据场景调度、分配、执行及周边流程的差异化,进行了深度的优化设计,并结合内部大数据生产规范,实现出具有分类型、多触发、策略调起、血缘依赖等特点的调度系统;在扩展性方面,通过分布式部署解决系统压力问题,对接到其他系统进行内部生态的构建,助力整个大数据体系的高效运转。

主要技术点:可依赖的任务调度,细粒度ETL生产实现,负载均衡及故障恢复


面向人群:数据仓库管理员、数据分析师、数据平台开发及使用者

约课方式:
微信扫描二维码报名课程(免费)。关注“千聊”公众号——报名成功——我的——个人中心——关注的直播间
51期.jpg


您需要登录后才可以回帖 登录 | 注册

本版积分规则

TOP技术积分榜 社区积分榜 徽章 电子杂志 团队 统计 虎吧 老博客 知识索引树 读书频道 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档 | IT博客
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛 | SAP ERP系统
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 网站律师 隐私政策 知识产权声明
京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表