你最期待SQL Server中支持哪种大数据技术或工具？参加讨论既有机会获赠礼品卡哦！

arron刘 · 发表于 2013-1-21 17:27

这是一个瞬息万变的世界，数据量无时无刻不在变化。根据Gartner的统计，在过去的一年中，全世界数据增长了40%，未来十年全世界的数据量将是现在的44倍，其中有85%的数据来自新的数据类型。然而中国的发展有目共睹，单从数据的增长来看，中国理所当然是一个巨大的市场。面对大数据处理及其分析的挑战，同其他IT厂商一样，微软公司也做好了全面进军“大数据”领域的准备，微软推出SQL Server 2012将成为微软大数据战略的支点。新的数据库平台将提供一系列的大数据功能，其中包括Apache Hadoop连接器、开源分布式计算架构，能够存储并处理海量的结构化与非结构化数据。

微软大数据解决方案使企业可以从自己的结构化和非结构化数据中施展业务洞察力。企业中的任何人通过 Office 和 SharePoint 等熟悉的工具从他们所有的数据中施展可执行的洞察力；还能通过连接到公用的全球数据和服务，发现新的价值。此外，微软大数据解决方案还通过简单的部署以及与 Active Directory 和 System Center 等组件的集成，为 Hadoop 提供了 Windows 的易用性和可管理性。凭借 Windows Azure 上基于 Hadoop 的服务，微软为其大数据解决方案在云端提供了灵活性。

本期话题讨论：
1、SQL Server 2012使用何种数据存储技术，如何处理上百T的数据量？
2、在日常工作中，你会遇到哪些大数据带来的挑战，通常会怎么处理？
3、谈谈你对SQL Server 2012的大数据特性的了解？
4、除了Hadoop，你最期待SQL Server中支持哪种大数据技术或工具？

讨论时间：2013.1.21-2013.2.5

讨论奖励：活动结束后，将抽取5位讨论最积极的会员赠送100元京东购物卡一张.

2.jpg (22.22 KB, 下载次数: 1948)

下载附件

2013-1-21 17:36 上传

获奖会员： jimn1982 help01 vikou jvkojvko buptdream

雪儿1025 · 发表于 2013-1-21 18:04

hwtong · 发表于 2013-1-21 21:03

1.SQLServer采用何种数据存储方式.
默认的还是行存储的,但是在SQLServer2012中开始支持列索引,大大提高数据仓库的查询效率,与其他的一些新技术联合使用,在某些场景下查询效率肯呢过提升数百倍.
2.如何挑战上百T的数据
其实目前存储上百T的数据并不是问题,只要数据库设计合理.可以采用分区表,或者分表方式来存放大数据.
3.碰到的大数据的挑战时的解决办法
1.分表,将历时数据抽出来放入到历史表中.大部分时间最常用的数据只是最近半年的数据.
2.可以在企业版中采用分区表,这样当按照时间来查询的时候,可以只查询包含该时间段的分区,这样降低IO成本,提高数据库相应速度.
3.在测试环境的sqlserver 2012中,采用列式存储,但是这种一般仅局限于数据仓库.
4.SQLServer对大数据的支持.
在SQLServer2012中添加了Hadoop的接口,这样客户就可以在Hadoop,SQLServer中交换数据.其实在SQLServer 2008 R2中已经添加并行数据仓库和MPP结构,这在SQLServer 2012中得到很好的加强.
5.希望SQLServer支持的大数据
除了Hadoop之外,还期望能支持Cassandra.目前我们公司Hadoop和Cassandra都在使用.期待也能支持Cassandra.至于其他我们公司没使用的产品倒不是很熟悉了解.

help01 · 发表于 2013-1-21 21:50

1、SQL Server 2012使用何种数据存储技术，如何处理上百T的数据量？
SQL Server 2012使用并行数据仓库及其大规模并行处理体系结构，能将现有数据仓库的规模从数十TB扩大到数百TB。利用多种集成产品快速地构建数据仓库，通过使用已预先针对数据仓库技术而得到优化的硬件设备，来实现对平衡硬件的安全投资。通过使用高性能数据加载，来实现可预期的性能，并同时减少加载时间和系统停机时间。通过使用MPP体系结构、优化器以及Data Movement Services，更迅速地处理更多数据。

2、在日常工作中，你会遇到哪些大数据带来的挑战，通常会怎么处理？
现在用户企业里的智能终端设备越来越多，各种应用程序和用户数也在不断增长，数据就像滚雪球一般越来越大，种类也是纷繁复杂，其中结构化数据只占少数。如何管理这些持续增长，复杂多样的，且需要满足合规性的数据信息，并且使用这些信息为企业关键业务做出决策，是一项越来越重要的工作。通常我们是采取扩充物理存储，对数据库进行优化，但效果不明显，尤其是涉及到BI的时候，常常让我们觉得头大。

3、谈谈你对SQL Server 2012的大数据特性的了解？
微软大数据解决方案使企业可以从自己的结构化和非结构化数据中施展业务洞察力。企业中的任何人通过Office和SharePoint等熟悉的工具从他们所有的数据中施展可执行的洞察力；还能通过连接到公用的全球数据和服务，发现新的价值。
通过简单的部署以及与Active Directory和System Center等组件的集成，大数据技术能为Hadoop提供Windows的易用性和可管理性。凭借Windows Azure上基于Hadoop的服务，微软为大数据解决方案在云端提供了灵活性。

4、除了Hadoop，你最期待SQL Server中支持哪种大数据技术或工具？
利用Excel的Hive组件在Excel环境中与Hadoop中的非结构化数据进行交互并加以分析；
通过Azure Marketplace，大数据技术能让客户连接到数据、智能挖掘算法和防火墙外的数据，企业可以连接和组合数以百计的可信数据提供者的数据，实现与世界的数据相结合；
通过HDInsignt，无缝存储和处理所有类型的数据，包括结构化、非结构化和实时数据。

jvkojvko · 发表于 2013-1-21 21:57

1、SQL Server 2012使用何种数据存储技术，如何处理上百T的数据量？

SQL Server 2012 在行存储的基础上增加了列存储索引，列存储索引的用途与其说是索引，还不如说是基础表部分列的另一个列存储副本。因为一般数据分析都是通过列存储索引访问查询中出现的所有基础表的列。
2、在日常工作中，你会遇到哪些大数据带来的挑战，通常会怎么处理？
日常工作中，碰到大数据的时候，通常会采用分表的方式，比如按照年份来存储不同年份的数据
3、谈谈你对SQL Server 2012的大数据特性的了解？
用户可以在Hadoop环境下充分利用SQL Server数据仓库以及BI解决方案的丰富功能。用户还可以在Windows Server或者Windows Azure平台上，将数据分布到Hadoop节点中以构建大数据分析解决方案，然后再使用SQL Server的一些自带工具，如Power View、PowerPivot，甚至是Excel来数据分析
4、除了Hadoop，你最期待SQL Server中支持哪种大数据技术或工具？
目前的功能已经非常强大了，暂时的期待就是能够熟练掌握他，灵活自如的运用它