《大数据: Flume 多个Agent 串联(AvroSource、AvroSink)》

it2023-06-10  70

一、Flume 多个Agent 串联

如果AgentA需要将Event对象发送到其他的agent进程中,AgentA的sink,必须为AvroSink,其他的agent在接收时,必须选择AvroSource

这种模式是将多个flume顺序连接起来了,从最初的source开始到最终sink传送的目的存储系统。此模式不建议桥接过多的flume数量, flume数量过多不仅会影响传输速率,而且一旦传输过程中某个节点flume宕机,会影响整个传输系统

 

1. 组件选择

①. Avro Source

Listens on Avro p

最新回复(0)