سرویس Kafka

Kafka یک پلتفرم توزیع‌شده، مقاوم در برابر خطا و فوق‌العاده مقیاس‌پذیر برای مدیریت جریان‌های بلادرنگ داده است که در اصل توسط لینکدین ساخته شده و اکنون به ستون فقرات سیستم‌های داده‌محور در سراسر جهان تبدیل شده است. این فناوری با معماری لاگ-محور (log-based) و مبتنی بر پارتیشن‌بندی هوشمند، جایگزینی ایده‌آل برای صف‌های پیام‌رسان سنتی مانند RabbitMQ و ActiveMQ در سناریوهایی با حجم عظیم رویداد و نیاز به ذخیره‌سازی طولانی‌مدت محسوب می‌شود.

Kafka با بهره‌گیری از مدل publish/subscribe به همراه نگهداری ترتیب پیام‌ها در هر پارتیشن، امکاناتی چون تحمل خطای توکار از طریق replication، حفظ پیام‌ها برای روزها یا هفته‌ها،سرعت خیره‌کننده تا میلیون‌ها پیام در ثانیه، و یکپارچگی عمیق با اکوسیستم استریم پردازشی مانند Kafka Streams و Flink را فراهم می‌کند. این ویژگی‌ها به تیم‌های داده و بک‌اند اجازه می‌دهد تا معماری رویدادمحور، CDC (Change Data Capture)، و لاگ‌های متمرکز را با اطمینان کامل پیاده‌سازی کنند.