我正在尝试实现一个能够自动缩放以与原始实例共享负载(拆分处理碎片)的spring boot aws kinesis使用者。

我能够做的:使用定义明确的自述文件和此处提供的示例Kinesis binder docs,我已经能够启动多个使用方,这些提供方实际上通过提供这些属性来对碎片进行处理。

在生产者上,我通过应用程序属性提供partitionCount:2。
在使用者上,我同时提供了instanceIndex和instanceCount。

在消费者1上,我具有instanceIndex = 0和InstantCount = 2,
在消费者2上,我具有instanceIndex = 1和InstantCount = 2

这工作正常,我有两个处理它们特定碎片的spring boot应用程序。但是在这种情况下,每个引导应用程序都必须有一个预先配置的属性文件,该文件在加载时需要可用,以便他们拆分负载。如果我仅启动第一个使用者(未自动缩放),则仅处理特定于索引0的分片,而未处理其他分片。

我想做的是但不确定是否可以部署单个使用者(处理所有分片)。如果我部署另一个实例,我希望该实例重现某些负载的第一个使用者,换句话说,如果我有2个分片和一个使用者,它将同时处理两个负载,如果我再部署另一个应用程序,则我希望该第一个使用者到现在,仅从单个分片进行处理,将第二个分片留给第二个使用者。

我试图通过不在使用者上指定instanceIndex或instanceCount并仅提供组名来做到这一点,但这使第二个使用者处于空闲状态,直到第一个使用者关闭。仅供参考,我还创建了自己的元数据和锁定表,以防止绑定程序创建默认的元数据和锁定表。

配置:
生产者-----------------

originator: KinesisProducer
server:
 port: 8090

    spring:
      cloud:
        stream:
          bindings:
            output:
              destination: <stream-name>
              content-type: application/json
              producer:
                headerMode: none
                partitionKeyExpression: headers.type


消费者------------------------------------------------

originator: KinesisSink
server:
 port: 8091

spring:
  cloud:
    stream:
      kinesis:
        bindings:
          input:
            consumer:
              listenerMode: batch
              recordsLimit: 10
              shardIteratorType: TRIM_HORIZON
        binder:
          checkpoint:
            table: <checkpoint-table>
          locks:
            table: <locking-table
      bindings:
        input:
          destination: <stream-name>
          content-type: application/json
          consumer:
            concurrency: 1
            listenerMode: batch
            useNativeDecoding: true
            recordsLimit: 10
            idleBetweenPolls: 250
            partitioned: true
          group: mygroup

最佳答案

没错这就是目前的工作方式:如果有一个使用者在这里,它将处理所有碎片。仅当第一个碎片至少以某种方式折断时,第二个碎片才会采取操作。

我们的路线图上有适当的类似卡夫卡的调整。我们还没有确定的愿景,因此欢迎您对此事发表意见并作出后续贡献!

07-24 20:42