我有一个制作人在一个彗星主题上吐出消息。我需要从该主题中选择并处理消息流。我大概花了两个小时，试图找到一种将Cometd上的消息直接吸收到Apache Beam中的方法。我好像在撞墙。我知道我有以下选择：
从主题中获取数据，将数据写入kafka，然后将数据从kafka推送到梁。
从主题获取，将数据写入GCP上的pub / sub，然后将其推送到Apache Beam。
上面的两个选项似乎都在体系结构中包括一个额外的组件。有没有更好的方法可以做到这一点？有什么例子吗？代码样本？指针？
最佳答案
我还不知道有人为Beam编写或启动了CometD连接器。当前连接器在https://beam.apache.org/documentation/io/built-in/处列出。要编写自己的代码，您可以尝试模仿其他基本流连接器之一的代码，例如AMQP，MQTT或JMS（Kafka和Pubsub非常先进，我不建议您通过其源代码来指导您的实现）。