微服务消息代理选型：Redis、Kafka、RabbitMQ

在为微服务使用异步通信时，通常使用消息代理。代理确保不同微服务之间的通信可靠稳定，消息在系统内得到管理和监控，并且消息不会丢失。您可以从几个消息代理中选择，它们的规模和数据功能各不相同。这篇博文将比较三个最受欢迎的代理brokers：RabbitMQ、Kafka和Redis。

但首先，让我们了解一下微服务通信。

微服务通信：同步和异步

微服务之间有两种常见的通信方式：同步和异步。在同步通信中，调用方在发送下一条消息之前等待响应，它作为HTTP之上的REST协议运行。相反，在异步通信中，消息是在不等待响应的情况下发送的。这适用于分布式系统，通常需要消息代理来管理消息。

您选择的通信类型应考虑不同的参数，如如何构造微服务、设置什么基础设施、延迟、规模、依赖性和通信目的。异步通信的建立可能更加复杂，并且需要向堆栈中添加更多的组件，但是将异步通信用于微服务的优点大于缺点。

异步通信优势

首先也是最重要的是，异步通信从定义上讲是无阻塞的。它还支持比同步操作更好的扩展。第三，在微服务崩溃的情况下，异步通信机制提供了各种恢复技术，通常更好地处理与崩溃相关的错误。此外，当使用代理而不是REST协议时，接收通信的服务实际上不需要相互了解。甚至可以在旧服务运行很长时间后引入新服务，即更好的解耦服务。

最后，在选择异步操作时，您可以提高将来创建中心发现、监视、负载平衡甚至策略实施器的能力。这将为您的代码和系统构建提供灵活性、可伸缩性和更多功能。

选择正确的消息代理

异步通信通常通过消息代理进行管理。还有其他方法，比如aysncio，但它们更为稀缺和有限。

在选择执行异步操作的代理时，应考虑以下几点：

1. Broker Scale–系统中每秒发送的消息数。

2. 数据持久性–恢复消息的能力。

3. 消费者能力–brokers是否能够管理一对一和/或一对多消费者。

一对一：

一对多：

我们查看了最新和最好的服务，以找出这三个类别中哪家提供商最强。

比较不同的消息代理

RabbitMQ（AMQP）

规模：根据配置和资源，这里的大概速度约为每秒50K味精。

持久化：支持持久性和暂时性消息。

一对一vs一对多消费者：两者皆有。

RabbitMQ于2007年发布，是首批创建的通用消息代理之一。它是一个开源软件，通过实现高级消息队列协议（AMQP），通过点对点和发布子方法来传递消息。它旨在支持复杂的路由逻辑。

有一些托管服务允许您将其用作SaaS，但它不是本机主要云提供商堆栈的一部分。RabbitMQ支持所有主要语言，包括Python、Java、.NET、PHP、Ruby、JavaScript、Go、Swift等。

在持久模式下可能会出现一些性能问题。

Kafka

规模：每秒最多可发送数百万条消息。

持久化：是的。

一对一vs一对多消费者：只有一对多（乍一看似乎很奇怪，对吧？！）。

Kafka由Linkedin于2011年创建，用于处理高吞吐量、低延迟的处理。作为一个分布式流媒体平台，Kafka复制了发布-订阅服务。它提供数据持久性并存储记录流，使其能够交换高质量的消息。

Kafka在Azure、AWS和Confluent上管理SaaS。他们都是Kafka计划的创造者和主要贡献者。Kafka支持所有主要语言，包括Python、Java、C/C++、Clojure、.NET、PHP、Ruby、JavaScript、Go、Swift等。

Redis

规模：每秒最多可发送一百万条消息。

持久化：基本上不是——它是内存中的数据存储。

一对一vs一对多消费者：两者皆有。

Redis与其他消息代理稍有不同。Redis的核心是内存中的数据存储，可以用作高性能键值存储或消息代理。另一个区别是Redis没有持久性，而是将其内存转储到磁盘/DB中。它也非常适合实时数据处理。

最初，Redis不是一对一和一对多。然而，自从Redis 5.0推出pub-sub以来，功能得到了提升，一对多成为了一种现实选择。

每个用例的消息代理

我们介绍了RabbitMQ、卡夫卡和Redis的一些特性。这三种动物都属于这一类，但如上所述，它们的运作方式截然不同。下面是我们根据不同的用例为正确的MessageBroker提供的建议。

短消息：Redis

Redis的内存数据库几乎完全适合于不需要持久性的短消息用例。因为它提供了极快的服务和内存功能，Redis是短保留消息的完美选择，在短保留消息中，持久性并不重要，您可以容忍一些损失。随着Redis streams在5.0中的发布，它也是一对多用例的候选者，这是由于限制和旧的发布订阅功能而绝对需要的。

大量数据：Kafka

Kafka是一个高吞吐量的分布式队列，用于长时间存储大量数据。Kafka非常适合于需要持久性的一对多用例。

复杂路由：RabbitMQ

RabbitMQ是一个较老但成熟的代理，具有许多支持复杂路由的特性和功能。当所需速率不高（超过数万msg/秒）时，它甚至支持复杂的路由通信。

考虑你的软件栈

当然，最后要考虑的是您当前的软件堆栈。如果您正在寻找一个相对简单的集成过程，并且不希望在堆栈中维护不同的代理，那么您可能更倾向于使用堆栈已经支持的代理。

例如，如果您在RabbitMQ之上的系统中使用芹菜作为任务队列，您将有动力使用RabbitMQ或Redis，而不是Kafka，后者不受支持，需要一些重写。