假设我有一张表Customer:
CustomerID CustomerName CustomerBill
7 John 100
2 Bill 500
4 Mark 200
这里,CustomerID是主键,但是记录没有特定的顺序。数据库的相应表中没有修改的时间列。先前的条目也可以更改。如何对数据进行增量导入?
我正在使用的数据库是Sybase,并将其导入到Hive。
最佳答案
append
模式无法使用。
lastmodified
模式无法使用。
Sqoop做任何特殊的事情。它需要递增ID或更新timstamp才能进行SQL查询以获取,只有插入/更新了。