我有一个Spring启动项目,该项目具有使用kafka进行记录的依赖项。
我无法摆脱所说的依赖关系,因为我的逻辑要求该依赖关系中的代码
我想在不运行kafka的情况下在本地启动所说的应用程序,因此我可以测试我的简单数据库查找代码。
我尝试禁用自动配置
spring.autoconfigure.exclude=org.springframework.boot.autoconfigure.kafka.KafkaAutoConfiguration
我尝试通过bean配置将missingTopicsFatal设置为false
@Bean(name = "kafkaListenerContainerFactory")
public ConcurrentKafkaListenerContainerFactory<?, ?> kafkaListenerContainerFactory(
ConsumerFactory<Object, Object> kafkaConsumerFactor,
ConcurrentKafkaListenerContainerFactoryConfigurer configurer) {
ConcurrentKafkaListenerContainerFactory<Object, Object> factory =
new ConcurrentKafkaListenerContainerFactory<>();
configurer.configure(factory, kafkaConsumerFactor);
ContainerProperties containerProperties = factory.getContainerProperties();
containerProperties.setMissingTopicsFatal(false);
...
return factory;
}
但是很明显,该设置已经为false,因为我的应用程序运行时没有失败,只是tomcat不想打开监听端口
我遇到的所有其他解决方案都涉及更改使用kafka的代码;在这种情况下,我正在使用的依赖项。但是我无权更改所说的依赖性。
应用程序启动,但是spring拒绝打开监听端口,并继续循环显示错误
Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available.
该应用程序可以在本地运行kafka的情况下正常运行,但由于kafka的资源使用情况,现在仅仅是打字动作很慢。请帮忙。
最佳答案
在我看来,您的主要问题是本地kafka安装的资源使用情况。也许首先看看它的配置和数据。也许从头开始并清除所有本地数据?
另外,您可以在进程中运行KafkaServer,在您的主类中这样:
Properties kafkaProperties = new Properties();
kafkaProperties.setProperty("broker.id", "1");
kafkaProperties.setProperty("host.name", "localhost");
kafkaProperties.setProperty("listeners", "PLAINTEXT://localhost:" + kafkaPort);
kafkaProperties.setProperty("log.dir", Files.createTempDir().getAbsolutePath());
KafkaConfig kafkaBrokerConfig = new KafkaConfig(kafkaBrokerConfig);
KafkaServer kafkaServer = new KafkaServer(kafkaBrokerConfig, Time.SYSTEM);
kafkaServer.startup();
或者,您可以从Docker运行Kafka。参见例如docker-compose文件https://github.com/confluentinc/examples/tree/5.4.1-post/cp-all-in-one-community。
您可能只需要动物园管理员和经纪人:
docker-compose.yml:
version: '2'
services:
zookeeper:
image: confluentinc/cp-zookeeper:5.4.1
hostname: zookeeper
container_name: zookeeper
ports:
- "2181:2181"
environment:
ZOOKEEPER_CLIENT_PORT: 2181
ZOOKEEPER_TICK_TIME: 2000
broker:
image: confluentinc/cp-kafka:5.4.1
hostname: broker
container_name: broker
depends_on:
- zookeeper
ports:
- "29092:29092"
- "9092:9092"
environment:
KAFKA_BROKER_ID: 1
KAFKA_ZOOKEEPER_CONNECT: 'zookeeper:2181'
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://broker:29092,PLAINTEXT_HOST://localhost:9092
KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0