【话题讨论】如何实现NoSQL数据库驱动程序

X-Power

大多数人都没有关注过这方面，期待高手参加。

chszs

1、如何实现NoSQL数据库驱动程序？可以以MongoDB或Redis为例，不限于这两种NoSQL。
1和2的问题很接近，实现NoSQL数据库驱动程序的步骤可以参考我的第二个问题的答案。

2、在设计NoSQL数据库驱动程序时，主要应考虑哪些因素？
1）考虑支持该NoSQL数据库提供的各种数据类型；
2）考虑支持NoSQL数据库的数据文件格式；
3）考虑实现NoSQL数据库的编码、解码和复杂数据对象的算法；
4）考虑支持NoSQL数据库的I/O缓冲；
5）考虑支持NoSQL数据库主键索引；
6）考虑实现NoSQL数据库的序列化（即串行化）技术；
7）考虑实现NoSQL数据库的一些特性，比如MongoDB的GridFS文件系统；
8）考虑NoSQL数据库远程连接的实现，其中可能会自定义访问协议。

3、一个完整的NoSQL数据库驱动程序，应该包含哪些功能点？
一个完整的NoSQL数据库驱动程序，应该包含的功能点大致有：
1）提供对主流编程语言支持，这是你的NoSQL数据库是否能吸引程序员的关键。
比如MongoDB的驱动程序，就提供了C、C++、C#、Erlang、Java、JavaScript、Node.js、Perl、PHP、Python、Ruby、Scala等语言的驱动库。
2）定义一套访问API，API应该做到易学习、易使用、难误用，保证API的干净和简洁。
3）NoSQL数据库驱动程序可能需提供MapReduce的实现。
Hadoop是目前大数据事实上的标准技术，各种NoSQL数据库都应该提供其MapReduce实现。
4）错误集
NoSQL数据库驱动程序应该定义一套错误集合，客户端可以根据返回的错误号定位是什么错误，有助于解决实际问题。
5）高速I/O模块
NoSQL数据库驱动程序应提供对NoSQL数据库的高速读写以及缓冲。
大致就这么多，以后可以继续补充。

hero3

这个话题里没太说明白，"NoSQL数据库驱动"仍然是执行SQL？还是另外创造一套语法？
如果是仍然执行SQL，那么这个驱动的主要工作就是SQL语句解析，并转换为NOSQL的API。
主要考虑的问题就是SQL 92的兼容性了。
功能点是JDBC现成的接口即可。

jieforest

hero3 发表于 2013-8-29 09:38
这个话题里没太说明白，"NoSQL数据库驱动"仍然是执行SQL？还是另外创造一套语法？
如果是仍然执行SQL，那么 ...

你把我绕糊涂了, 首先, NoSQL的原意是No SQL, 后来逐渐演进成Not Only SQL, 既然都没有SQL, 又怎么会执行SQL呢?

hero3

jieforest 发表于 2013-8-29 12:34
你把我绕糊涂了, 首先, NoSQL的原意是No SQL, 后来逐渐演进成Not Only SQL, 既然都没有SQL, 又怎么会执行 ...

也不见得啊，比如hive、phoenix、impala等这些工具就是将SQL转换为对hdfs、hbase的数据访问，从而降低hadoop的应用门槛，而且提供了JDBC驱动。
如果是纯粹的NOSQL数据库驱动，首先得有个nosql系统访问的标准吧，如果不谈论标准那么现在这些nosql系统各自提供的API如MongoDB client API就是数据库驱动了，只是各家的驱动不通用而已。

arron刘

话题好难啊

xgghxkhuang

crakme 发表于 2013-8-26 22:31
看过postgresql和mongodb的源码，回头去翻翻pgsql的源码看看如何实现的。

pgsql是开源数据库吗？你看过源代码，有什么好的分享一下。

crakme

xgghxkhuang 发表于 2013-8-30 20:19
pgsql是开源数据库吗？你看过源代码，有什么好的分享一下。

pgsql是开源数据库  纯C写的，代码很规范。
Mongodb是c++写的，v8引擎用的不错。
具体还有很多值得学习的地方

xgghxkhuang

没接触过，等待高手

jieforest

hero3 发表于 2013-8-29 17:27
也不见得啊，比如hive、phoenix、impala等这些工具就是将SQL转换为对hdfs、hbase的数据访问，从而降低had ...

我明白看法的分歧在哪里了。

这里我们先把SQL的定义明确一下。在关系数据库里面，SQL指结构化查询语言(Structured Query Language)，是一种脚本语言。SQL语言基本上独立于数据库本身，ISO提出了SQL92标准，希望各种数据库产品都使用相同的SQL标准作为共同的数据存取语言和标准的接口，使不同数据库系统之间的互操作有了共同的基础，进而实现异构机、各种操作环境的共享与移植。悲哀的是，到现在这个理想也没实现。

而对于NoSQL数据库，它是没有SQL语言的，也不遵循任何SQL标准。以MongoDb为例，它采用了类似于SQL的脚本语言操作数据库，这完全是10gen公司自定义的。其它的NoSQL也大多如此。这是因为SQL语言本身很成熟，所以这些NoSQL厂商或多或少地会借用一些SQL的语法，但事实上是跟"SQL92"标准无关的。同样，跟JDBC也无关，毕竟JDBC是关系数据库的产物。