楼主: hwayw

国内MongoDB领域先驱者“王文龙”(网名“红丸”)做客ITPUB,与大家共同探讨MongoD

[复制链接]
论坛徽章:
0
41#
发表于 2012-3-17 22:26 | 只看该作者
玉面飞龙 发表于 2012-3-17 17:10
MongoDB数据量大了,active data set内存放不下,就要IO了,由于global read write lock,IO频繁的话就要SS ...

一般来说数据库的选型上,最终成本包括:硬件+软件+人力。
所以在数据库产品的选型上,需要仔细考虑以下几个方面:
1、应用系统的技术架构是什么样子的,技术架构决定了硬件成本和软件license成本
2、此产品的技术人员人力成本,如果是通用技术,那么人力成本较低;如果是高端新技术,那么人力成本将会很高
3、1个月、1个季度、1年后数据量将达到什么规模,是否需要增加更多的结点来负载均衡

使用道具 举报

回复
论坛徽章:
57
SQL极客
日期:2013-12-09 14:13:35秀才
日期:2016-01-21 13:42:39秀才
日期:2016-01-13 12:14:26SQL大赛参与纪念
日期:2016-01-13 10:32:19SQL数据库编程大师
日期:2016-01-13 10:30:43秀才
日期:2015-12-14 14:47:54秀才
日期:2015-10-19 15:50:392015年新春福章
日期:2015-03-06 11:58:18懒羊羊
日期:2015-03-04 14:52:11优秀写手
日期:2014-11-08 06:00:14
42#
发表于 2012-3-18 09:45 | 只看该作者
cd红丸 发表于 2012-3-17 20:13
我本人对greenplum不太了解,不过产品没有真正的好与差,找到最适合你们业务需求的就是最好的

恩,现在更新太快了。

使用道具 举报

回复
论坛徽章:
57
SQL极客
日期:2013-12-09 14:13:35秀才
日期:2016-01-21 13:42:39秀才
日期:2016-01-13 12:14:26SQL大赛参与纪念
日期:2016-01-13 10:32:19SQL数据库编程大师
日期:2016-01-13 10:30:43秀才
日期:2015-12-14 14:47:54秀才
日期:2015-10-19 15:50:392015年新春福章
日期:2015-03-06 11:58:18懒羊羊
日期:2015-03-04 14:52:11优秀写手
日期:2014-11-08 06:00:14
43#
发表于 2012-3-18 09:46 | 只看该作者
cd红丸 发表于 2012-3-17 20:11
了解基本的MongoDB命令行操作即可,无需关心任何运维管理的技术,同时需要仔细通读一下MongoDB的Java api

恩,有时间我多了解一下,感谢楼主的解答,愿楼主的新书有好的表现。

使用道具 举报

回复
论坛徽章:
0
44#
发表于 2012-3-18 20:02 | 只看该作者
红丸老师,你好!

非常高兴,能在这里和您沟通,我非常希望能够得到您的书,谢谢!希望红丸老师能够加我的QQ:42608085 多向你学习学习。

我已学习mongodb 2周时间,现在正在系统中要应用mongodb做为存储。在mongodb使用过程中遇到的问题,现向你请教一下。

1、我用mongodb 做线上业务,我想使用mongodb的 sum、group by,但我发现mongodb的sum 、group by 的功能支持不是很好,采用的map/reduce方式实现的,进行计算时太慢,无法实现线上业务的实时计算。javascript引擎是单线程的,一个mongodb实例只能跑一个map/reduce ,不能并行,是否是这样?我想问一下mongodb如何才能实现实时的计算,比如sum、groupby 能象mysql一样的执行效率。

2、我用mongodb 做表设计时,如果有两个表关联,我没有找到可以象mysql中哪样的方法可以返回两个表的想要的字段的方式如mysql中的语句 select a.column1,a.column2,b.column1,b.column2 from table1 a,table2 b where a.id=b.id 这样的语句如何在mongodb中实现?最好一条语句或两条。不能太多语句实现的方式。

3、我采用mongodb的girdFS存储小文件时,girdFS如何分片?girdFS上是否可以建目录?我现在没有找到命令。

4、用girdFS存储文件时 ,在mongovue看到的文件占用总大小是1G,但mongodb实际硬盘总占用5G以上,包括日志,configdb 请问为什么?

5、mongodb 做分片、复制集方式的集群时,如何设置用户的访问权限,我试过在单mongodb中可以实现权限控制,集群具说不能够实现,请问红丸老师,如何集群下实现权限控制。

6、mongodb 分片、复制集方式的集群下如何更好的停止服务不会产生数据损坏? 最好有一步可以把所有服务停止的方式。

7、我在用kill -2 停止mongodb时,如果mongodb已经占了很多内存,kill掉后 linux内存并不释放,请问如何才能释放内存?

多谢红丸老师的解答,不盛感激!

china2078

QQ: 42608085

email:china2078@163.com

使用道具 举报

回复
论坛徽章:
0
45#
发表于 2012-3-18 21:43 | 只看该作者
回复"china2078"兄弟:
1、在2.1.0的开发版中已经开始提供Aggregation Framework,它支持类似于group by的操作,见意你关注一下。
2、可以采用DBRef方式进行多表联合查询。
3、GridFS可以分片,分片的方法通用。在文件上传时可以指定fs集合名,不同的集合名就可以区分不同用途的文件。
4、产品本身有预分配磁盘空间的机制,同时一些元数据存储和系统运行时的产生的日志等,也可以进一步找到是磁盘上哪个文件或文件夹占用的空间最大。
5、在Master结点上去控制权限,IT本身就是一门实验性科学,只是道听途说是不能让人信服的,不懂的或表示怀疑的结论,一定要亲自做实验去看一下结果。
6、官方只提供最基础的操作指令,这跟MySQL等其它关系型数据库是一样的,要想操作更方便,最简单也是最通用的方法就是自已写脚本。不要一味的等待官方出工具,要主动思考解决问题的办法。
7、进行被杀,进程所占用的内存正常情况下是可以释放的,你遇到的问题,需要依据实际情况,具体分析一下。

使用道具 举报

回复
论坛徽章:
1
鲜花蛋
日期:2012-03-21 13:10:11
46#
发表于 2012-3-19 12:50 | 只看该作者
请问下,当使用了replica set时,mogodb 设置完slavedelay后,只有两个node时。当primary down 掉,而secondry又没有完全获得primary的信息,此时怎么样做完全恢复?有没有相关的机制保证呢?谢谢。

使用道具 举报

回复
论坛徽章:
0
47#
发表于 2012-3-19 17:01 | 只看该作者
luxiaochuang 发表于 2012-3-19 12:50
请问下,当使用了replica set时,mogodb 设置完slavedelay后,只有两个node时。当primary down 掉,而secon ...

产品本身提供的replica set本身就是异步的,如果有这样的担心可以从软硬件方面进行考虑:
    软件:可采用WriteConcern和getLastError阻塞写操作,或者用rsync对主库磁盘进行数据同步
    硬件:  可将磁盘做成RAID

使用道具 举报

回复
论坛徽章:
0
48#
发表于 2012-3-20 09:36 | 只看该作者
cd红丸 发表于 2012-3-18 21:43
回复"china2078"兄弟:
1、在2.1.0的开发版中已经开始提供Aggregation Framework,它支持类似于group by的 ...

感谢红丸老师的解答,受益非浅。希望红丸老师能加我QQ

使用道具 举报

回复
论坛徽章:
104
生肖徽章2007版:猪
日期:2012-07-12 14:24:56菠菜神灯
日期:2013-05-26 22:03:18生肖徽章2007版:猪
日期:2012-07-19 11:10:12生肖徽章2007版:猪
日期:2012-07-19 11:10:12生肖徽章2007版:猪
日期:2012-07-11 19:07:11生肖徽章2007版:猪
日期:2012-07-19 11:10:12生肖徽章2007版:猪
日期:2012-07-19 11:10:12ITPUB伯乐
日期:2012-05-22 15:05:25NBA季后赛纪念徽章
日期:2013-06-21 14:52:05NBA季后赛大富翁
日期:2013-06-21 14:57:11
49#
发表于 2012-3-21 23:43 | 只看该作者
MongoDB的自动查询优化功能有时候会走不正确的索引,为什么会这样呢,产生的原因及如何规避,能简单的介绍一下吗?

使用道具 举报

回复
论坛徽章:
0
50#
发表于 2012-3-22 20:15 | 只看该作者
vicky987654321 发表于 2012-3-21 23:43
MongoDB的自动查询优化功能有时候会走不正确的索引,为什么会这样呢,产生的原因及如何规避,能简单的介绍一 ...

理论上不会这样的,但如果你实际遇到此情况,可以使用hint来强制使用正确的索引

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表