查看: 6629|回复: 1

Lucene 分布式解决方案中,处理海量数据索引化操作有没有比较靠谱的解决方案?是什么?

[复制链接]
论坛徽章:
0
发表于 2014-2-12 14:16 | 显示全部楼层 |阅读模式
Lucene 分布式解决方案中,处理海量数据索引化操作有没有比较靠谱的解决方案?是什么?
论坛徽章:
0
发表于 2014-2-12 15:07 | 显示全部楼层
我所了解的一般目前有这几种:
一,跟hadoop结合做索引分布式,一般重写dictoryfs接到hadoop上。目前成熟的很少,主是读写效率有一定瓶颈。
二,直接分布式索引,单台做完查询后合成结果返回。
总的来说,不管哪种,其实说到根上都是数据量大了以后硬盘寻址和结果处理的时间比较难搞,所以上SSD和加内存,多数网站都是可以搞定的。


使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会 限时8.5折

【架构革新 高效可控】2020年9月21日~23日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表