有奖讨论： ETL 工具 VS SQL 代码

lsfseven

如果是大批量的处理，个人觉得是ETL比较方便，易于管理。SQL灵活性更强一点吧,但是后期维护比较麻烦，重新解读语句，比较花时间。ETL也可以基于SQL上进行，看具体需求而行了。

zhangzongjun

认同大家的观点：
1.  工具容易规范化，易于维护；
2. 工具有自身的特有优势，比如各个点的并行处理。CDC、行列转换、SCD的简单设置就可实现。元数据管理等；
3. 工具能实现的基本SQL也能实现，有时可能要写复杂SQL而已；
4. SQL在处理复杂逻辑时灵活性更高，优势明细；
5. SQL的不易维护和管理。

ffw_880106

lele5000 发表于 2012-6-20 21:23
自己写SQL、存储过程在短时期看来是很快，也得心应手。但是从长远来看 不利于维护。

随着项目的推进，存 ...

“很多人认为用工具没有纯手工打造的人牛B，那是这些人根本就没把工具玩透”
非常赞同你的观点！
顺便说句：在打造企业级的应用平台时，是纯SQL无法企及的坎。

很多人理解ETL工具都狭义的理解为ETL任务设计管理工具了，
在我看来，ETL工具要分 ETL任务设计管理和ETL调度监控管理两个方面。
最近网上这个TASKCTL貌似火了，而且现在还开源了。

free的ETL调度平台　＋　free的ETL任务设计(例如用kettle) = free的ETL解决方案，多好啊

myth8860

ETL也可以自己写SQL的，所以复杂点的需要定期执行的流程ETL更好

cockcrow

两种方式都常用的，一般基于成本、客户需求以及今后规划来考虑选择方案。
通常，复杂的逻辑一般在ETL工具中调用存储过程实现。

ETL工具带来的便利：
1.规范的操作流，即提供了标准的ETL工作流（抽取、清洗、规范化、加载）中的每一步功能的定制。
2.提供元数据管理。
3.工作流调度。

kami_kang

从数据管控，数据治理方面考虑还是采用ETL工具，使用SQL在元数据的管理，知识转移以及后期维护方面灵活性不如ETL

liyc444

这个东西分什么时段的人用，刚入手的，绝对要熟悉etl了，有了丰富的经验之后会发现sql舒服，给我们实施的人员，人家自己写了个etl抽取，在项目上会更加方便

gowin

难道大家用etl工具就完全不写sql和存储过程了吗？

forgangdream

我最常用的还是sql 比较灵活

zmercury

etl 和sql其实要看情况使用