接ETL考虑。。。。。

cxgtommy

faint, 拜托，我还想隐藏的好一点，没打算跟各位推销datastage

supkim

ETL工具用来抽取数据时要有固定的维与之映射。我想问一下在数据仓库的事实表中的数据是不是都是数值数据，如果是的话那么那些源数据中的非数值数据又该如何存储。

cxgtommy

很好奇，通常实表都是一些流水交易转换过来或汇总过的，如果非数据数据的话，不可能是认手工填吧，莫非是comment？如果是交易系统生成的话，要么是些id号码，要么是些要进入维表的信息了。fact table中应该只有数据字段   

我没遇到过这种情况，也想不出什么情况下会遇到。谁遇到过？举手

chenghy

ETL过程中需要把一些没用数据清洗掉。
，有的没用数据是由于业务系统的错误产生的，我们一般是看数据确定。
各位是怎么准确的确定这些没用数据的？

supkim

其实这些数据是要拿来做数据分析的， 是一个主题中很重要的数据

cxgtommy

一头雾水，能给点提示？来个例子

supkim

人口主题中包含一些这样的数据。

Name        Code        Data Type        Primary        Foreign Key        Mandatory
长短标记        R0        VARCHAR2(1)        FALSE        FALSE        FALSE
属性        ID        VARCHAR2(18)        TRUE        FALSE        TRUE
地址码        ADDRESS_CODE        CHAR(17)        FALSE        TRUE        FALSE
姓名        R01        VARCHAR2(2)        TRUE        FALSE        TRUE
与户主关系        R02        VARCHAR2(1)        FALSE        FALSE        FALSE
性别        R03        VARCHAR2(1)        FALSE        FALSE        FALSE
出生年        R041        VARCHAR2(4)        FALSE        FALSE        FALSE
出生月        R042        VARCHAR2(2)        FALSE        FALSE        FALSE
民族        R05        VARCHAR2(2)        FALSE        FALSE        FALSE
户口登记情况        R061        VARCHAR2(1)        FALSE        FALSE        FALSE
户口登记情况：外地户口        R062        VARCHAR(1)        FALSE        FALSE        FALSE
户口登记情况：外地户口：省外(省码)        R063        VARCHAR2(2)        FALSE        FALSE        FALSE
户口性质        R07        VARCHAR2(1)        FALSE        FALSE        FALSE
出生地        R081        VARCHAR2(1)        FALSE        FALSE        FALSE
出生地：外省(省码)        R082        VARCHAR2(2)        FALSE        FALSE        FALSE
何时来本乡镇街道居住        R09        VARCHAR2(1)        FALSE        FALSE        FALSE
从何地来本乡镇街道居住        R101        VARCHAR2(1)        FALSE        FALSE        FALSE
从何地来本乡镇街道居住：本县市区以外(省码)        R102        VARCHAR2(2)        FALSE        FALSE        FALSE
从何地来本乡镇街道居住：本县市区以外(市码)        R103        VARCHAR2(2)        FALSE        FALSE        FALSE
从何地来本乡镇街道居住：本县市区以外(县码)        R104        VARCHAR2(2)        FALSE        FALSE        FALSE
迁出地类型        R11        VARCHAR2(1)        FALSE        FALSE        FALSE
迁出原因        R12        <undefined>        FALSE        FALSE        FALSE
五年前常住地        R131        VARCHAR2(1)        FALSE        FALSE        FALSE
五年前常住地：省外(省码)        R132        VARCHAR2(2)        FALSE        FALSE        FALSE
是否识字        R14        VARCHAR2(1)        FALSE        FALSE        FALSE
受教育程度        R151        VARCHAR2(1)        FALSE        FALSE        FALSE
受教育程度：是否成人学历教育        R152        VARCHAR2(1)        FALSE        FALSE        FALSE
学业完成情况        R16        VARCHAR2(1)        FALSE        FALSE        FALSE
是否有工作        R17        VARCHAR2(1)        FALSE        FALSE        FALSE
工作时间        R18        VARCHAR2(1)        FALSE        FALSE        FALSE
行业        R19        VARCHAR2(3)        FALSE        FALSE        FALSE
职业        R20        VARCHAR2(3)        FALSE        FALSE        FALSE
未工作者状况        R211        VARCHAR2(1)        FALSE        FALSE        FALSE
未工作者状况：失去工作前的主要职业        R212        VARCHAR2(3)        FALSE        FALSE        FALSE
未工作者主要生活来源        R22        VARCHAR2(1)        FALSE        FALSE        FALSE
婚姻状况        R23        VARCHAR2(1)        FALSE        FALSE        FALSE
初婚年月：年        R241        VARCHAR2(4)        FALSE        FALSE        FALSE
初婚年月：月        R242        VARCHAR2(2)        FALSE        FALSE        FALSE
生育子女数：男        R251        VARCHAR2(1)        FALSE        FALSE        FALSE
生育子女数：女        R252        VARCHAR2(1)        FALSE        FALSE        FALSE
存活子女数：男        R253        VARCHAR2(1)        FALSE        FALSE        FALSE
存活子女数：女        R254        VARCHAR2(1)        FALSE        FALSE        FALSE
本次普查期间生育状况        R261        VARCHAR2(1)        FALSE        FALSE        FALSE
本次普查期间内生育状况：生育时间        R262        VARCHAR2(2)        FALSE        FALSE        FALSE
本次普查期间内生育状况：婴儿性别        R263        VARCHAR2(1)        FALSE        FALSE        FALSE
本次普查期间内生育状况：第二个孩子生育时间        R264        VARCHAR2(2)        FALSE        FALSE        FALSE
本次普查期间内生育状况：第二个孩子性别        R265        VARCHAR2(1)        FALSE        FALSE        FALSE
城乡类型        RA0        VARCHAR2(1)        FALSE        FALSE        FALSE
年龄        RA1        VARCHAR2(3)        FALSE        FALSE        FALSE
户别        RA2        VARCHAR2(1)        FALSE        FALSE        FALSE
初婚年龄        RA3        VARCHAR2(2)        FALSE        FALSE        FALSE
生育子女数        RA4        VARCHAR2(2)        FALSE        FALSE        FALSE
存活子女数        RA5        VARCHAR2(2)        FALSE        FALSE        FALSE

以上只是关于一个人的个人情况，它是人口主题中的一个重要的数据，那么象这样一些数据，在人口主题中的维该怎么样来确定呢？      呵呵！

BlueGirl

在电信业中，用户资料类似于上面提到的人口资料，这样要建一个用户资料主题吗？如果需要，要怎样操作好呢？

supkim

上面可不是电信的东西，不可能只把这么一个表中的数据做为一个主题来研究，似乎太小了点！：）
呵呵

cxgtommy

表中很多字段都要拆分放到维表中，否则无法查询的。另外要有将这些分类放开，有些字段感觉是容易变得，最好能好好组织组织