Kafka的基本介绍

Python publisher01 33℃ 0评论

1、Kafka是什么

l Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。

l Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。

l Kafka****是一个分布式消息队列:生产者、消费者的功能。它提供了类似于JMS****的特性,但是在设计实现上完全不同,此外它并不是JMS****规范的实现****。

l Kafka对消息保存时根据Topic进行归类,发送消息者称为Producer,消息接受者称为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)成为broker。

l 无论是kafka集群,还是producer和consumer都依赖于zookeeper集群保存一些meta信息,来保证系统可用性

2、JMS是什么

2.1、JMS的基础

JMS是什么:JMS是Java提供的一套技术规范

JMS干什么用:用来异构系统 集成通信,缓解系统瓶颈,提高系统的伸缩性增强系统用户体验,使得系统模块化和组件化变得可行并更加灵活

通过什么方式:生产消费者模式(生产者、服务器、消费者)


1.png

jdk,kafka,activemq……

2.2、JMS消息传输模型

l 点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)

点对点模型通常是一个基于拉取或者轮询的消息传送模型,这种模型从队列中请求信息,而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理,即使有多个消息监听者也是如此。

l 发布/订阅模式(一对多,数据生产后,推送给所有订阅者)

发布订阅模型则是一个基于推送的消息传送模型。发布订阅模型可以有多种不同的订阅者,临时订阅者只在主动监听主题时才接收消息,而持久订阅者则监听主题的所有消息,即时当前订阅者不可用,处于离线状态


2.png

queue.put(object) 数据生产

queue.take(object) 数据消费

2.3、JMS核心组件

l Destination:消息发送的目的地,也就是前面说的Queue和Topic。

l Message [m1] :从字面上就可以看出是被发送的消息。

l Producer: 消息的生产者,要发送一个消息,必须通过这个生产者来发送。

l MessageConsumer: 与生产者相对应,这是消息的消费者或接收者,通过它来接收一个消息。


3.png

通过与ConnectionFactory可以获得一个connection

通过connection可以获得一个session会话。

2.4、常见的类JMS消息服务器

2.4.1、JMS消息服务器 ActiveMQ

ActiveMQ 是Apache出品,最流行的,能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的。

主要特点:

l 多种语言和协议编写客户端。语言: Java, C, C++, C#, Ruby, Perl, Python, PHP。应用协议: OpenWire,Stomp REST,WS Notification,XMPP,AMQP

l 完全支持JMS1.1和J2EE 1.4规范 (持久化,XA消息,事务)

l 对Spring的支持,ActiveMQ可以很容易内嵌到使用Spring的系统里面去,而且也支持Spring2.0的特性

l 通过了常见J2EE服务器(如 Geronimo,JBoss 4, GlassFish,WebLogic)的测试,其中通过JCA 1.5 resource adaptors的配置,可以让ActiveMQ可以自动的部署到任何兼容J2EE 1.4 商业服务器上

l 支持多种传送协议:in-VM,TCP,SSL,NIO,UDP,JGroups,JXTA

l 支持通过JDBC和journal提供高速的消息持久化

l 从设计上保证了高性能的集群,客户端-服务器,点对点

l 支持Ajax

l 支持与Axis的整合

l 可以很容易得调用内嵌JMS provider,进行测试

2.4.2、分布式消息中间件 Metamorphosis

Metamorphosis (MetaQ) 是一个高性能、高可用、可扩展的分布式消息中间件,类似于LinkedIn的Kafka,具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用于大吞吐量、顺序消息、广播和日志数据传输等场景,在淘宝和支付宝有着广泛的应用,现已开源。

你或许想:《去原作者写文章的地方

转载请注明:Python量化投资 » Kafka的基本介绍

喜欢 (0)or分享 (0)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址