【大话IT】数据不再遥远——你对数据库平台架构知多少？

aihuong · 发表于 2016-9-5 11:24

学习

Guard_lonely · 发表于 2016-9-6 15:34

徽章来一枚~~

sjf0115 · 发表于 2016-9-6 16:04

求分享

acehacker · 发表于 2016-9-7 16:45

持续关注中~

darrenduan · 发表于 2016-9-7 21:30

baijiong998 发表于 2016-8-29 09:01
1.数据方面：如何进行模型分层？一般模型分层计算程序，以哪种语言为主？（请说出此种语言在数据架构方面较 ...

大神啊。。。。。

darrenduan · 发表于 2016-9-7 21:31

路过学习我是来拿徽章的

oracle_cj · 发表于 2016-9-12 11:11

学习。。。

小小伊豆 · 发表于 2016-9-14 16:26

只用过Gp

liklstar · 发表于 2016-9-14 19:43

本帖最后由 liklstar 于 2016-9-14 20:05 编辑

bfmo 发表于 2016-8-18 15:24
1.数据方面：如何进行模型分层？一般模型分层计算程序，以哪种语言为主？（请说出此种语言在数据架构方面较 ...

您好，bfmo先生：
很羡慕你懂的这麽多技术！你写的这些我一个都不懂？！十分惭愧。

请教：
1、什麽是第一问中的“模型分层”？这个“模型”是什麽模型？是“数学模型”、“应用的业务模型”，比如：类图、用况图，还是数据库的“实体-关系模型”，亦或是逻辑数据库表结构？这个“模型”又为什麽要分层呢？是本来就是分层的模型吗？根据什麽原则分层？分层的目的和好处又是什麽？
2、第二问中提到了许多软件，比如：Hive、GreenPlum、Canaan等，请问：它们都是什麽？干什麽用的？它们所代表的概念、思想、作用、功能、目的、所解决的问题等是什麽？为什麽要把它们组合起来使用？
3、第二问中提到的“架构”到底是什麽意思？什麽是“数据架构”？

neverinit · 发表于 2016-9-16 20:18

讨论问题：（以下三个问题，可任选您感兴趣的话题作答）
1.数据方面：如何进行模型分层？一般模型分层计算程序，以哪种语言为主？（请说出此种语言在数据架构方面较于其他语言的优势又哪些？）

2.架构方面：在架构过程中，一般以7点展开，如：a. 存储和计算都基于HIVE；b. GREENPLUM作为HIVE的“cache”存在，供用户做一些小数据的快查询，报表存储；c. 调度：和canaan框架进行整合，支持用户快速新增任务，并自动导入任务依赖；d. 主数据：保存了数据仓库元数据信息，供用户查询和系统内部各个模块交互；e. ACL：构建了数据仓库数据访问权限控制，包括用户权限申请、审批者审批、数据赋权等；f. 传输；g.监控：由于任务数量增长较快（2000+），运维已经是个问题此外，需花了较大精力做了可视化的工作：

您的工作，主要涉及以上哪几点？在架构过程中遇到的难点有哪些？

3.数据应用：数据一般以哪种形式，呈现给用户？技术上是通过哪些策略实现？

回答第三个
第一种：以BI报表的形式展现，根据客户化需求定制。
第二种：在flex前端页面通过报表的形式展现，技术上通过kettle抽取、转化数据。
第三种：条件查询，通过输入查询条件的内容，动态拼接sql从数据库查询数据。