我完全相信,我正在做的工作中有很大一部分属于ETL领域,但是我什至不知道这个词在3个月前就已经存在。我发现SSIS在我的技能上有点不匹配,即我的直觉是,以一种深思熟虑的方式编写C#代码会给我我需要的结果(也是我的雇主不拥有的)。我开始研究WF是因为如果看起来合乎逻辑,但是我回到了最初的结论,即我确实需要了解问题域的基础知识,而当我这样做时,利用我的经验并编写解决方案的代码将是最有意义的。在.net / c#中(我是一个单人团队,而且似乎并没有改变)。到目前为止,我有一种同步器实用程序的杂物箱,而正是在管理它们的所有过程中才开始出现这种困难,这导致了他们寻找这种知识。

问题1是:是否有资源可供我获取有关如何将它们汇总在一起的示例,例如:


从使用限制的REST服务中提取->出于(尽可能)实时(尽可能)同步的目的加载到数据库
从内部第三方应用程序(如QuickBooks)中提取->加载到数据库
监视数据库的更改并以仔细跟踪的批次更新外部系统(即,LOB应用程序更改了提取的相同信息,然后需要将其推回)


问题2是:我尚未掌握T部分将在哪里发挥作用。到目前为止,我一直在提取表示一个系统中逻辑实体的信息并将其推入另一个系统。

最佳答案

我没有关于您所看到的确切场景的任何示例,但是如果您想了解有关ETL本身的更多信息,可以尝试查看Ayende's site上的文章。他有一个非常容易使用的ETL流程框架,称为Rhino ETL。还有一个显示how to use it的视频。

至于T部分的演奏位置,T代表Transform。这是您可以(但不一定必须)更改数据形状的过程中的步骤。从一个数据源提取后,您可以添加或删除字段,聚合信息,将对象分解为表,将表映射为对象等。这部分是转换步骤。然后,您可以将数据加载到新的数据存储或系统中。

希望对您有所帮助。

关于c# - 是否有资源来获取一些实际的ETL示例?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/5601637/

10-12 04:28