查看: 2404|回复: 0

[体系架构] 求助大神关于大数据量业务流水表插入和查询效率设计问题

[复制链接]
论坛徽章:
1
2013年新春福章
日期:2013-02-25 14:51:24
跳转到指定楼层
1#
发表于 2014-4-21 15:31 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
有一张表T1用于存储业务处理的流水日志信息,20多列,预计每天有几十万条以上的数据量,最长保留30天。

由于这张表既要进行插入操作,又要进行查询操作。
插入操作时要求越快越好,以降低对业务处理的影响,这时我考虑是不在表上做索引,采用批量插入的方式,降低commit的次数, 同时每天凌晨业务不繁忙时将上一天的数据移出。

但是查询时,一定是要考虑通过索引来提高效率的,我能想到的方案是再建一张同样的物理表专门用来查询,针对查询作优化,每隔一段时间同步一次数据到这张表里,同步方式目前想的是insert into select方式。但这样的问题是如果同步的时间间隔短,IO操作就各过于频繁,如果同步的间隔长,又不能及时查询到间隔期内的记录,而且积攒的数据多了会不会同步效率更低。


请大神帮忙看看还有更好的设计方案可用吗?




您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表