solr 同步 mysql

一、首先创建一个数据库和表

这里创建了一个表，加上了测试数据，注意这里有一个字段来记录更新时间  update_date

二、修改配置文件

我们首先介绍全量同步，再介绍增量同步

我的 solr 版本是 7.5 的，new_core是我创建的 core，打开 solrconfig.xml，增加如下配置

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
      <lst name="defaults">
           <str name="config">data-config.xml</str>
      </lst>
  </requestHandler>

然后在当前 conf 目录下创建 data-config.xml

<dataConfig>
		<dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://192.168.0.131:3306/hongone"  user="root"  password="***"/>
           <document>
                <entity name="ho_front_message" pk="id" transformer="DateFormatTransformer"
				query="SELECT id, content,object_id,type,update_date,create_date FROM ho_front_message"
				>
					<field column="id" name="id"/>
					<field column="object_id" name="objectId"/>
					<field column="content" name="content"/>
					<field column="type" name="type"/>
					<field column="enable_flag" name="enableFlag"/>
                    <field column="update_date" name="updateDate" dateTimeFormat="yyyy-MM-dd HH:mm:ss" />
					<field column="create_date" name="createDate" dateTimeFormat="yyyy-MM-dd HH:mm:ss" />
                </entity>
          </document>
</dataConfig

注意：修改 mysql 连接地址和数据库名和用户名和密码

entity 标签下 

-name：表名

-pk：主键名

-query：查询语句，全量同步下会同步当前表中哪些数据

-field：表子段映射，注意时间格式

以上需要同步的表子段，需要配置到 managed-schema.xml ，对于已有的字段，不需要添加，例如 id 字段

  <!--ho_front_message-->
  <field name="type" type="string" indexed="true" stored="true"/>
  <field name="objectId" type="string" indexed="true" stored="true"/>
  <field name="enableFlag" type="string" indexed="true" stored="true"/>
  <field name="createDate" type="pdate" indexed="true" stored="true"/>
  <field name="updateDate" type="pdate" indexed="true" stored="true"/>
   <!--ho_front_message-->

注意 type="pdate" 因为我的 solr 是7.5 版本的

三、测试数据

选择 full-import  全量导入

勾选 clean 表示导入之前会清空数据

entity 选择我们在data-config.xml创建的

可以看到数据已经查询出来了

四、增量同步

修改 data-config.xml

<dataConfig>
		<dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://192.168.0.131:3306/hongone"  user="root"  password="***"/>
           <document>
                <entity name="ho_front_message" pk="id" transformer="DateFormatTransformer"
				query="SELECT id, content,object_id,type,update_date,create_date FROM ho_front_message"
				deltaQuery="select id from ho_front_message where update_date > '${dih.last_index_time}'"
				deltaImportQuery="select * from ho_front_message where id='${dih.delta.id}'"
                deletedPkQuery="select id from ho_front_message where enable_flag='0'"
				>
					<field column="id" name="id"/>
					<field column="object_id" name="objectId"/>
					<field column="content" name="content"/>
					<field column="type" name="type"/>
					<field column="enable_flag" name="enableFlag"/>
                    <field column="update_date" name="updateDate" dateTimeFormat="yyyy-MM-dd HH:mm:ss" />
					<field column="create_date" name="createDate" dateTimeFormat="yyyy-MM-dd HH:mm:ss" />
                </entity>
          </document>
</dataConfig>

deltaQuery：增量索引查询主键ID
deltaImportQuery:增量索引查询导入的数据
deletedPkQuery:此操作值查询那些数据库里伪删除的数据的ID（enable_flag=0的数据）

配置完后后，打开数据库修改其中一条记录的值和update_date

update ho_front_message set content='xxxx' ,update_date=now() where id='xxx'

导入增量数据，勾选 delta-import

再次查询看看增量数据是否正确

删除数据就是把某条数据的 enable_flag=0 ，再操作一下增量导入