|
讨论问题:(以下三个问题,可任选您感兴趣的话题作答)
1.数据方面:如何进行模型分层?一般模型分层计算程序,以哪种语言为主?(请说出此种语言在数据架构方面较于其他语言的优势又哪些?)
2.架构方面:在架构过程中,一般以7点展开,如:a. 存储和计算都基于HIVE;b. GREENPLUM作为HIVE的“cache”存在,供用户做一些小数据的快查询,报表存储;c. 调度:和canaan框架进行整合,支持用户快速新增任务,并自动导入任务依赖;d. 主数据:保存了数据仓库元数据信息,供用户查询和系统内部各个模块交互;e. ACL:构建了数据仓库数据访问权限控制,包括用户权限申请、审批者审批、数据赋权等;f. 传输;g.监控:由于任务数量增长较快(2000+),运维已经是个问题此外,需花了较大精力做了可视化的工作:
您的工作,主要涉及以上哪几点?在架构过程中遇到的难点有哪些?
3.数据应用:数据一般以哪种形式,呈现给用户?技术上是通过哪些策略实现?
回答第三个
第一种:以BI报表的形式展现,根据客户化需求定制。
第二种:在flex前端页面通过报表的形式展现,技术上通过kettle抽取、转化数据。
第三种:条件查询,通过输入查询条件的内容,动态拼接sql从数据库查询数据。 |
|