有奖讨论： ETL 工具 VS SQL 代码

wuxidba

一直用手写的SQL，说几个缺点吧：

1.团队水平层次不齐，有些代码写的太烂，尤其是阿三
2.数据量很大的job，比如10M,速度很慢，要3-4小时，（有转换过程在其中），不知工具会不会提高速度
3.找数据源有时费劲

wangfans

KantCheng 发表于 2012-2-28 09:52
，想不到楼主是这个数据仓库模块的版主啊，久仰久仰。。。

欢迎常来做客，分享经验！

wangfans

周应侯 发表于 2012-2-27 18:33
sql手写好些~这样才是真正的dba

真正的DBA是不做ETL的

周应侯

wangfans 发表于 2012-2-28 12:29
真正的DBA是不做ETL的

赞同~

hughs1551

第一要根据商务项目的规模，现在有些BI项目甲方规划的投入就很少了，如果再买第三方工具乙方根本就没钱赚了，一般这样的项目开发时候使用sql做etl过程的多，或者是乙方自己开发的etl工具，但是基本不能达到DS那样的水平。
第二在够大的BI项目或者甲方有ETL工具的投入时候才会采用，但是也要和sql结合使用。
第三要看etl逻辑的复杂度，一般的清洗工作etl工具使用比sql灵活简单，但是在复杂业务逻辑处理就不行了，例如有数据拆分，一条记录根据业务规则拆分几条，这样要涉及数值型小数保留位数，最后拆分后的几条记录合计值是否能保证和拆分前一致这样的问题都是存在的。

kelsoncong

一些异构的数据库还是需要用ETL工具的吧。遇到需要把文本，MF数据，DB2,SQLServer, paradox的数据一起抽取到用oracle的warehouse中，似乎只有用ETL工具。
另外ETL在大型企业里的分工还是很细的，
做mapping,建workflow,做monitor，做数据处理都是由不同的team来完成的， 我之前的一个项目，老美负责做mapping,workflow.
中国这边只有monitor的权限，主要monitor ETL工具的装载速度和进度，如果遇到性能问题或者数据错误，就page DBA团队或者另外的团队来处理。
大公司对权限要求比较高，类似于这样的需求都必须通过ETL工具来实现的。

thain

ETL工具相对于SQL的一个很大的优势在于代码的可维护性上
写SQL，取决于开发人员的经验与习惯，如原开发人员离职，由其他人接手任务的话，读懂之前开发人员的代码会花费较长的时间
但在复杂的数据处理中，还是应该用SQL来处理，嵌套在ETL工具中。

yobyin

infomatic  很好很强大

fisher-jie

sql处理能力比etl工具强

jameschin007

ETL工具显然有助于标准化。
好的DBA可以写出更优美精炼的语句，但是不利于维护和标准化。