《大数据技术全解》有奖试读活动（已公布获奖）

RAYSUNNNY

支持

qingduo04

占座更新....................

qingduo04

1.大数据的存储有哪些问题

a. 存储性能问题:
    主机侧采用刀片服务器或者机架式服务器，存储采用刀片存储或者机架式服务器自带存储（一体机）进行搭建的话，相当于每台X86服务器识别一套存储，如果存储需求量过大的话，存储的性能是否会成为瓶颈？ 当前获知900G硬盘还是SAS盘，但是以上就是SATA盘，但是转速速度很小。
b. 磁盘阵列到主机侧的带宽问题:
     如果采用的存储是磁盘整列，从X86服务器到SAN交换机到磁盘整列的带宽是否足够？
c.  当前采用GP数据库，如果现网单台服务器存储大约10T,技术越来越新，新采购的服务器存储大约20T，新老服务器的存储数据分布该怎么均衡？

2. 企业大数据如何加工？

a. 异构和同构的数据的加工，同构在当前数据库中均可以正常加载，但是异构的数据加载需要进行多样式的加载。
b. 其次对接口数据进行自定义的汇总，比如按照用户、按照位置、按照品牌等进行模型汇总
c.  KPI指标生成。
我觉得最大的困难就是异构和同构数据的处理

对于数据的获取，按照电信来说，如果从网管获取信令等数据进行分析，传输带宽可能也会成为一种瓶颈

试读主要介绍了第八章 系统设计背景和目标，第九章 系统架构设计，第十章 运营架构设计 三大内容，其中又细化到设计背景、设计目标、逻辑脚骨设计、功能架构设计、数据架构设计、物理架构设计、集成架构设计、安全设计、开发架构设计等几个子项内容介绍，内容介绍比较详细，通俗易懂。
不过在第十章，物理结构设计中，要求
硬件选型“同品牌、同型号、同配置” 软件选型 “同操作系统、同JVM虚拟机、同系统账户体系”
个人感觉软件选型应该还能达成一致，但是硬件选型要求“同品牌、同型号、同配置” 有点困难
可能在第一期建设的时候，选择DELL服务器，但是在第二期扩容项目有可能选择HP服务器，这点不知道在其他行业怎么样，但是在电信行业很普遍。
同时针对内存配置16G内存，是否有点小？

qingduo04

第八章，有这样一段话，比较屌丝

        ”当不知道现在在哪里，也不知道下一步到哪里去的时候，人们总是显得很绝望；当知道现在在哪里，但不知道下一步到哪里去的时候，人们总是显得很茫然；当知道现在在哪里，也提前定下下一步到哪里去的目标，但所处的周边环境已经发生重大变化，面对该如果调整目标适应环境的变化时，人们又总是显得很无奈“

harkjim

先支持下！

流水养鱼

支持一下

tian1982tian

一般要经过数据采集、数据预处理、数据存储、数据分析、数据应用这几个经典的步骤。
其实采集就是前端系统或设备产生，数据不需要处理，但是到了预处理的工作就是要将数据处理成你的分析系统需要的结构、清洗成标准规范的数据格式；
至于存储，一方面要节省成本，利用相关的hadoop压缩技术，snappy、gzip等等相关压缩技术，另一方面存储的方式、路径结构是据您的需求而定，比如要用hive做数据仓库分析工具，而hive的分区表，是按天分区的，所映射的数据文件也要按天划分，一天一个文件放到对应的目录，供hive映射，查询和分析，否则hive hql语句执行计划翻译成MR后性能极端底下，另外，要看客户的的要求，比如说hive on hdfs比较占用存储，在你的hadoop平台上一份数据存在hdfs，另外也存在hbase中，这样就是说，一份数据最后变成了6份数据了，如果不同意，你还要实现hive on hbase的架构，这样子，就需要从应用的架构上精心设计，既节省了存储，也提高了性能，你的产品不愁卖不出去。

xgghxkhuang

支持一下

jionjionyoushen

感觉自己不具备这个实力

duqiangatom

Reading now