如何将kafka中的数据快速导入Hadoop?

Kafka是一个分布式发布 - 订阅系统,由于其强大的分布式和性能特性,它正在迅速成为我们数据管道的关键部分。 它可用于许多功能,例如消息传递,指标收集,流处理和日志聚合。Kafka的另一个有效用途是将数据移入Hadoop。

大数据频道
Hadoop
794
2018-10-18 17:57

SACC 2018欲罢不能 精彩花絮特别奉上

有人说,“十年相伴,十年相随,SACC不仅目睹了中国IT技术架构的变迁史,也见证了中国一代架构师的成长之路。”日前,以“十年架构 成长之路“为主题的SACC 2018正在如火如荼地进行中,现场云集各路大咖,与会规模超千人。除了技术分享外,在这场饕餮盛宴里,还有更多精彩瞬间。▲2018年10月17-19日, SACC 2018举办地:永泰福朋喜来登酒店。▲现场签到处,嘉宾出示二维码,即可完成签到。▲

网络通信频道
网络通信/物联网
656
2018-10-18 17:50

官宣!SACC十年磨砺涅槃起航,全新“3+2”航道正式上线!

十余年来,企业架构经过了数次迭代和变迁,ITPUB是这一切的重要见证者,同样陪伴了无数架构师的成长。10月17日,第十届中国系统架构师大会以“十年架构,成长之路”为主题,在北京海淀永泰福朋喜来登酒店举行,大会云集了国内CTO、研发总监、高级系统架构师、开发工程师和IT经理等技术人群,与会规模超千人。三天传统技术大会演讲,两天深度主题培训,SACC十年磨砺,涅槃起航!

架构设计频道
基础设施
1241
2018-10-17 18:07

希捷创新的“多读写臂技术”及全线企业级存储产品亮相华为全联接大会

近日,华为全联接大会在上海世博中心举行。希捷科技受邀参加此次大会,并带来了以“创未来智无限”为主题的行业领先的数据存储解决方案。在大会期间,笔者有幸采访到了希捷科技中国区售前工程师杨泽宏,针对希捷推出的最新产品与技术展开了多维探讨。

服务器频道
服务器/存储
883
2018-10-17 09:46

第六代Wi-Fi:802.11ax备受追捧 路由AP层出不穷

相比成熟稳定的802.11ac,新一代Wi-Fi标准802.11ax旨在以更快地传输速度,来协调计算机与设备之间的网络带宽,并更可靠地为其提供高带宽应用。为了利用这些优势,客户端和网络设备必然需要具有支持新协议的硬件。对此,网络设备制造商纷纷宣布推出802.11ax产品。众所周知,802.11ax产品中有些将“AX”作为其名称的一部分或在其规范中列出。“AX11000”意味着它有三个频段:一个2.

网络通信频道
网络通信/物联网
993
2018-10-16 18:12

美国五角大楼20亿美元人工智能计划:一个被频频叫嚣的军事赌注!

近日,在美国华盛顿特区的一次研讨会上,美国国防部高级研究计划局宣布,计划在未来五年内,投资20亿美元用于人工智能的研究,探索“怎样赋予机器类似人类的沟通和推理的能力”。

人工智能频道
人工智能
1196
2018-10-16 17:50

H3C UniStor CB备份一体机:备份其实很简单

数据备份对于企业IT应用的重要性不言而喻,无论是出于企业自身业务平稳运行的需求,还是各地区法规对数据安全的要求,将业务数据进行备份都是必要之举。随着大数据时代的到来,数据产生的速度越来越快,数据存储的量级越来越高,这让备份显得更加重要——同时也更难。

存储频道
服务器/存储
1013
2018-10-16 10:43

数据库高可用性简史

在互联网出现之前,7*24小时的可用性基本是不可能实现的,而现在凌晨处理用户请求已经成为了常态。当然,如果仅仅是依靠一台电脑来实现这些请求是不太现实的,为了保证正常运行,最好是在满足我们需求的多台计算机之间分配负载。

数据库频道
数据库开发技术
1261
2018-10-15 18:33

数据导入终章:如何将HBase的数据导入HDFS?

我们最终目标是将数据移入Hadoop,涉及到了HBase。HBase是一种实时的分布式数据存储系统,通常位于与Hadoop集群相同的硬件上,或者与Hadoop集群紧密相连。能够直接在MapReduce中使用HBase数据,或将其推入HDFS,是选择HBase作为解决方案的巨大优势之一。

大数据频道
Hadoop
1181
2018-10-15 15:53

京东与英特尔签署大数据合作备忘录,共创数字未来

9月26日,英特尔与京东在北京联合举办了“携手共创未来数据科技;京东与英特尔,大数据合作备忘录签约仪式”。英特尔公司软件和服务部门副总裁、数据分析部门负责人马子雅与京东集团副总裁、大数据与智能供应链事业部总裁裴健,京东集团副总裁、大数据平台负责人翁志出席了签约仪式,并分享了京东与英特尔在大数据领域的突破性合作成果以及未来的深入持续合作计划。

存储频道
服务器存储
1177
2018-10-15 11:28
 上一页 1 2 3 4 5 6 7 下一页