استقرار اولیه Kafka به صورت Cluster
در این بخش می خواهیم آموزش نحوه استقرار اولیه Kafka به صورت Cluster را به شما آموزش دهیم. ابتدا میبایست طبق آموزش Single Node به تعداد مورد نیازتان سرویس کافکا ایجاد کنید.
مثال
در اینجا یک مثال با ۳ Node را بررسی میکنیم:
آدرس سرور
فرض میکنیم که آدرس سرور میزبانی هر ۳ Node برابر است.
services.chabokan.net
پورتها
ابتدا باید پورتهای مربوط به CONTROLLER، CLIENT و PLAINTEXT را برای هر ۳ Node فعال کنیم.
- Node A
- Node B
- Node C
| نام پورت | شماره پورت داخلی | شماره پورت خارجی |
|---|---|---|
| PLAINTEXT | 9092 | 12345 |
| CONTROLLER | 9093 | 12346 |
| CLIENT | 9094 | 12347 |
| نام پورت | شماره پورت داخلی | شماره پورت خارجی |
|---|---|---|
| PLAINTEXT | 9092 | 12348 |
| CONTROLLER | 9093 | 12349 |
| CLIENT | 9094 | 12350 |
| نام پورت | شماره پورت داخلی | شماره پورت خارجی |
|---|---|---|
| PLAINTEXT | 9092 | 12351 |
| CONTROLLER | 9093 | 12352 |
| CLIENT | 9094 | 12353 |
در این مثال در جهت سادگی از PLAINTEXT استفاده شده است. در محیطهای Production حتما از رمزنگاری مناسب استفاده کنید.
بنابراین برای استفاده از PLAINTEXT میبایست متغیر محیطی زیر را تنظیم کنید:
ALLOW_PLAINTEXT_LISTENER=yes
متغیرهای محیطی
سپس برای ایجاد رابطه بین Nodeها و تشکیل کلاستر این متغیرهای محیطی را در هر ۳ Node تنظیم میکنیم:
- Node A
- Node B
- Node C
KAFKA_NODE_ID=1
KAFKA_PROCESS_ROLES=broker,controller
KAFKA_ENABLE_KRAFT=yes
KAFKA_KRAFT_CLUSTER_ID=some-unique-cluster-id
KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093,CLIENT://0.0.0.0:9094
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,CLIENT:PLAINTEXT
KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT
KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER
KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://services.chabokan.net:12345,CONTROLLER://services.chabokan.net:12346,CLIENT://services.chabokan.net:12347
KAFKA_CONTROLLER_QUORUM_VOTERS=1@services.chabokan.net:12346,2@services.chabokan.net:12349,3@services.chabokan.net:12352
KAFKA_NODE_ID=2
KAFKA_PROCESS_ROLES=broker,controller
KAFKA_ENABLE_KRAFT=yes
KAFKA_KRAFT_CLUSTER_ID=some-unique-cluster-id
KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093,CLIENT://0.0.0.0:9094
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,CLIENT:PLAINTEXT
KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT
KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER
KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://services.chabokan.net:12348,CONTROLLER://services.chabokan.net:12349,CLIENT://services.chabokan.net:12350
KAFKA_CONTROLLER_QUORUM_VOTERS=1@services.chabokan.net:12346,2@services.chabokan.net:12349,3@services.chabokan.net:12352
KAFKA_NODE_ID=3
KAFKA_PROCESS_ROLES=broker,controller
KAFKA_ENABLE_KRAFT=yes
KAFKA_KRAFT_CLUSTER_ID=some-unique-cluster-id
KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093,CLIENT://0.0.0.0:9094
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,CLIENT:PLAINTEXT
KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT
KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER
KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://services.chabokan.net:12351,CONTROLLER://services.chabokan.net:12352,CLIENT://services.chabokan.net:12353
KAFKA_CONTROLLER_QUORUM_VOTERS=1@services.chabokan.net:12346,2@services.chabokan.net:12349,3@services.chabokan.net:12352
حتما پس از وارد کردن متغیرهای محیطی روی دکمه ذخیره تغییرات کلیک کنید.
پروتکل ارتباطی Kafka به صورت HTTP نیست و یک پروتکل اختصاصی در بستر TCP دارد، بنابراین برای استفاده ارتباط با کافکا
میبایست از پورت خارجی مشخص شده همراه با آدرس سرور چابکان استفاده کنید که در متغیرهای محیطی
KAFKA_ADVERTISED_LISTENERS و KAFKA_CONTROLLER_QUORUM_VOTERS استفاده شده است.
امکانات عمومی سرویس
اگر میخواهید با امکانات عمومی سرویسهای چابکان مثل بکاپ خودکار، گزارش مصرف، لاگها و تنظیمات سرویس آشنا شوید، مستند امکانات عمومی سرویسها را مطالعه کنید.
