RabbitMQ là gì? Ứng dụng của RabbitMQ

Platform Advantech sử dụng RabbitMQ để gửi và nhận thông tin với các thiết bị IoT

RabbitMQ được lập trình bằng ngôn ngữ Erlang. RabbitMQ cung cấp cho lập trình viên một phương tiện trung gian để giao tiếp giữa nhiều thành phần trong một hệ thống lớn. RabbitMQ sẽ nhận message đến từ các thành phần khác nhau trong hệ thống, lưu trữ chúng an toàn trước khi đẩy đến đích.

Messaging là gì ?

Làm thế nào bạn có thể tích hợp nhiều ứng dụng để chúng làm việc cùng nhau và có thể trao đổi thông tin lẫn nhau

Đặc điểm của Messaging là gì ?

Asynchronous – Bất đồng bộ
Reliable – Đúng đắn
Durable – Bền vững
Routing – Định tuyến
Many message formats – Nhiều định dạng
Recipient pulls message from queue – Nhận thông báo từ hàng đợi

Lịch sử của Messaging

1986 The Information Bus (TIB) developed
1993 IBM MQSeries released
1997 Microsoft MSMQ released
2001 Java Messaging Service released

Tại sao Messaging lại không hoạt động

Nhắn tin đã có hàng thế kỷ
Giải pháp tin nhắn là chìa khóa cho rất nhiều hệ thống giải quyết các vấn đề về liên kết với nhau
Nhưng khó khăn của nó là:
- Việc xây dựng hệ thống đó rất khó khăn
- Việc mua và sử dụng chúng tốn rất nhiều tiền
- Khó kết nối tới nhiều ứng dụng
- Các nhà cung cấp đã cố gắng để xây dựng các sản phẩm quá phức tạp

AMQP là gì ?

Advanced Message Queue Protocol – Giao thức Message Queue nâng cao
Developed by JP Morgan Chase and iMatix
Open standard protocol for messaging – Mở giao thức chuẩn cho Messaging
Wire level protocol like HTTP
Vendor agnostic protocol for messaging systems

Lịch sử của AMQP

2003 AMQP starts development at JP Morgan
2005 AMQP working group formed
2006 June AMQP 0-8 released December AMQP 0-9 released
2006 Rabbit technologies formed RabbitMQ first release
2011 AMQP 1.0 released by AMQP working group
October 2012 AMQP 1.0 approved as an OASIS standard

Chìa khóa chính của AMQP là gì

Message Broker
Exchanges
- Direct
- Fan-out
- Topic
- Headers
Queues
Bindings

Sơ đồ hoạt động của AMQP

AMQP Message Brokers

RabbitMQ
Windows Azure Service Bus
Apache Qpid
Apache ActiveMQ
SwiftMQ
StormMQ
WSO2 message broker
OpenAMQ

RabbitMQ là gì ?

RabbitMQ là một message broker ( message-oriented middleware) sử dụng giao thức AMQP – Advanced Message Queue Protocol (Đây là giao thức phổ biến, thực tế rabbitmq hỗ trợ nhiều giao thức). RabbitMQ được lập trình bằng ngôn ngữ Erlang. RabbitMQ cung cấp cho lập trình viên một phương tiện trung gian để giao tiếp giữa nhiều thành phần trong một hệ thống lớn. RabbitMQ sẽ nhận message đến từ các thành phần khác nhau trong hệ thống, lưu trữ chúng an toàn trước khi đẩy đến đích.

RabbitMQ chạy trên nhiều hệ điều hành, đám mây và cung cấp một loạt các công cụ dành cho nhà phát triển cho hầu hết các ngôn ngữ phổ biến.

Các Thuật ngữ liên quan đến RabbitMAQ

AMQP – Advanced Message Queueing Protocol
EAI – Enterprise Application Integration
BPM – Business Process Management
ESB – Enterprise Service Bus
SOA – Service Orientated Architecture
MOM – Message Orientated Middleware
WCF – Windows Communication Foundation

Tại sao lại sử dụng RabbitMQ

Chúng ta thử xem các message broker như rabbitmq đem lại lợi ích gì trong việc thiết kế ứng dụng. Trong một hệ thống phân tán (distributed system), có rất nhiều thành phần. Nếu muốn các thành phần này giao tiếp được với nhau thì chúng phải biết nhau. Nhưng điều này gây rắc rối cho việc viết code. Một thành phần phải biết quá nhiều đâm ra rất khó maintain, debug. Giải pháp ở đây là thay vì các liên kết trực tiếp, khiến các thành phần phải biết nhau thì sử dụng một liên kết trung gian qua một message broker. Với sự tham gia của message broker thì producer sẽ không hề biết consumer. Nó chỉ việc gửi message đến các queue trong message broker. Consumer chỉ việc đăng ký nhận message từ các queue này.

Tất nhiên, có thể có một giải pháp là sử dụng database để lưu các message trong các temporary table. Tuy nhiên xét về hiệu năng thì không thể bằng message broker vì một số lý do: Tần xuất trao đổi message cao sẽ làm tăng load của database, giảm performance đáng kể. Trong môi trường multithread, database cần có cơ chế lock. Lock cũng làm giảm performance. Sử dụng message broker sẽ không có vấn đề này.

Vì producer nói chuyện với consumer trung gian qua message broker nên dù producer và consumer có khác biệt nhau về ngôn ngữ thì giao tiếp vẫn thành công. Dù viết bằng java, python, php hay ruby… thì chỉ cần thỏa mãn giao thức với message broker thì thông suốt hết. HIện nay, rabbitmq cũng đã cung cấp client library cho khá nhiều các ngôn ngữ rồi. Tính năng này cho phép tích hợp hệ thống linh hoạt.

Một đặc tính của rabbitmq là asynchronous. Producer không thể biết khi nào message đến được consumer hay khi nào message được consumer xử lý xong. Đối với producer, đẩy message đến message broker là xong việc. Consumer sẽ lấy message về khi nó muốn. Đặc tính này có thể được tận dụng để xây dựng các hệ thống lưu trữ và xử lý log. ELK stack – Elasticsearch Logstash Kibana là một ví dụ. Đây là hệ thống được sử dụng trong môi trường DevOps khá hiệu quả. Giải quyết bài toán chia sẻ log của ứng dụng cho dev. Log được đẩy vào message broker rồi qua logstash lưu trữ vào elastic để đánh index. Sau đó index được kibana (một web interface) sử dụng để thực hiện truy vấn và hiển thị kết quả

Bản thân redis cũng có thể đảm nhận vai trò của message broker ( Dù cho mục đích ban đầu của nó không phải vậy. Đây là tính năng mở rộng sau này của redis ) Mô hình trên bạn có thể hoàn toàn thay redis queue bằng rabbitmq.

Bên cạnh các lợi ích kể trên, rabbitmq còn có nhiều tính năng thú vị khác như:

cluster: các bạn có thể gom nhiều rabbitmq instance vào một cluster. Một queue được đinh nghĩa trên một instance khi đó đều có thể truy xuất từ các instance còn lại. Có thể tận dụng để làm load balancing (tuy rằng có hạn chế, tôi sẽ nói sau)
high availibilty: cho phép failover khi sử dụng mirror queue.
reliability: có cơ chế ack để đảm bảo message được nhận bởi consumer đã được xử lý.

Có thể hiểu message broker gần như bưu điện. Site A theo cách gọi của rabbitmq là producer (người gửi thông điệp). Site B và Site C theo cách gọi của rabbitmq là consumer (người nhận thông điệp). Producer connect đến message broker để đẩy message. Message sẽ đi qua message broker để đến được consumer. Cấu trúc của message broker chỉ gồm hai phần exchange và queue.

Exchange có nhiều loại. Trong hình vẽ trên exchange type là fanout. Lựa chọn các exchange type khác nhau sẽ dẫn đến khác đối xử khác nhau của message broker với thông điệp nhận được từ producer. Exchange được bind (liên kêt) đến một số queue nhất định. Với exchange type là fanout, message sẽ được broadcast đến các queue được bind với exchange. Consumer sẽ connect đến message broker để lấy message từ các queue.

Producer: thực hiện quá trình gửi bản tin lên RabbitMQ server
Exchange: thực hiện nhiệm vụ phân phối bản tin, có 3 kiểu phân phối bản tin direct, topic, fanout
Queues: có nhiệm vụ lưu trữ bản tin được gửi lên
Consumber: thực hiện việc lấy các bản tin từ queue về

Client Libraries & Community Libraries

net/WCF
Java
Python
Ruby
Spring

Protocol Gateways

XMPP
Stomp
Smtp
Http