Ubuntu 20.04安装Kafka 8步指南

Ubuntu 20.04 Kafka安装与配置指南

Apache Kafka作为分布式消息系统，已成为实时数据处理的基础设施。相比传统消息队列，其高吞吐量和水平扩展能力使其成为大数据场景的首选方案。

Apache Kafka官方文档
https://kafka.apache.org/documentation/

环境准备与依赖检查

执行安装前需确认以下条件：

1. Ubuntu 20.04系统（推荐LTS版本）
2. 4GB以上内存配置
3. 已配置sudo权限的非root用户
4. OpenJDK 11运行环境

验证Java环境：

java -version

内存不足会导致Kafka服务异常终止，建议生产环境配置8GB以上内存。对于资源受限的情况：

LIKE.TG技术开发服务
https://www.like.tg/zh/product/tech-service
提供云端Kafka集群托管方案，免除本地资源限制

核心组件安装流程

1. Java与Zookeeper安装

Kafka依赖Zookeeper进行集群协调，需先行安装：

sudo apt update sudo apt install -y default-jre zookeeperd

验证Zookeeper状态：

echo "ruok" | nc localhost 2181

正常应返回"imok"响应

2. 专用用户创建

为安全考虑应创建专用系统用户：

sudo adduser --system --no-create-home kafka sudo adduser kafka sudo

3. Kafka二进制包部署

下载官方发布包（建议使用国内镜像加速）：

mkdir -p /opt/kafka curl -L "https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/3.6.1/kafka_2.13-3.6.1.tgz" | tar xz --strip 1 -C /opt/kafka

目录结构说明：

• bin/: 可执行脚本
• config/: 配置文件
• logs/: 日志存储（需手动创建）

服务配置优化

关键参数调整

编辑server.properties：

nano /opt/kafka/config/server.properties

建议修改项：

log.dirs=/var/log/kafka num.partitions=3 log.retention.hours=168

Systemd服务配置

创建服务单元文件：

sudo nano /etc/systemd/system/kafka.service

示例配置：

[Unit] Requires=zookeeper.service After=zookeeper.service [Service] User=kafka ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties Restart=on-failure [Install] WantedBy=multi-user.target

启动并设置开机自启：

sudo systemctl enable --now kafka

集群验证与测试

基础功能测试

创建测试主题：

/opt/kafka/bin/kafka-topics.sh --create \ --bootstrap-server localhost:9092 \ --replication-factor 1 \ --partitions 3 \ --topic test

消息生产与消费测试：

# 生产者终端 echo "Test Message" | /opt/kafka/bin/kafka-console-producer.sh \ --bootstrap-server localhost:9092 \ --topic test # 消费者终端 /opt/kafka/bin/kafka-console-consumer.sh \ --bootstrap-server localhost:9092 \ --topic test \ --from-beginning

安全加固措施

1. 限制kafka用户权限：

sudo passwd -l kafka sudo deluser kafka sudo

2. 防火墙规则配置：

sudo ufw allow 9092/tcp sudo ufw enable

3. 日志文件权限控制：

sudo chown -R kafka:kafka /var/log/kafka sudo chmod 750 /var/log/kafka

生产环境建议

1. 集群部署至少3个节点
2. 配置监控告警系统
3. 定期进行日志轮转
4. 启用SASL认证机制

LIKE.TG住宅代理IP
https://www.like.tg/zh/products/liketg-official-self-employment/cake-ip-as-low-as-zerotwodollarg-exclusive-dynamic-proxy
为分布式部署提供稳定的网络环境

常见问题排查

Q1: 启动时报错"Java heap space" 修改bin/kafka-server-start.sh：

export KAFKA_HEAP_OPTS="-Xmx2G -Xms2G"

Q2: 消费者无法读取历史消息 添加--from-beginning参数或设置auto.offset.reset=earliest

Q3: 服务频繁重启 检查Zookeeper连接状态和系统资源使用情况

效能优化方案

1. 根据负载调整num.io.threads参数
2. 使用SSD存储日志目录
3. 合理设置partition数量
4. 启用压缩传输（compression.type=gzip）

LIKE.TG联系客户经理
https://s.chiikawa.org/s/li
获取定制化调优方案

实际部署时建议参考官方性能测试报告，根据业务特点进行针对性优化。保持组件版本更新可获取最新性能改进和安全补丁。