良许Linux教程网 干货合集 Linux系统安装Kafka详细步骤

Linux系统安装Kafka详细步骤

Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。本篇文章良许教程网和大家讲解一下Linux系统安装Kafka的具体步骤。

u=2419232334,2724675906&fm=26&gp=0

Kafka简介:

Kafka是一个分布式消息队列。★Kafka对消息保存时根据Topic进行归类,发送消息者称为Producer,消息接受者称为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)称为broker。无论是kafka集群,还是consumer都依赖于zookeeper集群保存一些meta信息,来保证系统可用性。

Linux系统安装Kafka具体步骤:

Kafka下载    官网下载地址  http://kafka.apache.org/downloads    demo用的版本  https://archive.apache.org/dist/kafka/1.0.0/kafka_2.12-1.0.0.tgz

解压到安装目录下    tar -zxvf kafka_2.12-1.0.0.tgz    mv kafka_2.12-1 /usr/local/kafka

配置    #创建日志存放目录,默认Kafka运行的时候都会通过log4j打印很多日志文件,比如server.log, controller.log, state-change.log等,而都会将其输出到$KAFKA_HOME/logs目录下,这样不利于线上运维,因为经常容易出现打爆文件系统

 #这里我们把日志目录指向var目录下
 cd /var/local
 mkdir -p kafka-logs
 
 #修改配置文件/opt/kafka/config/server.properties
 vi /usr/local/kafka/config/server.properties
 
 #主要修改下面几项内容如下:

broker.id=181 delete.topic.enable=true listeners = PLAINTEXT://192.168.0.166:9092 log.dirs=/var/local/kafka-logs zookeeper.connect=127.0.0.1:2181

添加系统环境变量    vi /etc/profile    #添加如下内容:

KAFKA_HOME=/usr/local/kafka PATH=KAFKA_HOME/bin export PATH KAFKA_HOME

启动、测试    kafka-server-start.sh /usr/local/kafka/config/server.properties    #发送    ./kafka-console-producer.sh –broker-list 192.168.0.166:9092 –topic test1    #接收    ./kafka-console-consumer.sh –zookeeper 192.168.0.166:2181 -topic test1 –from-beginning

开机启动    #在init.d目下创建kafka脚本文件

 cd /etc/rc.d/init.d
 
 touch kafka
 
 vi kafka

 #编辑下面内容

#!/bin/bash

#chkconfig:2345 30 80 #description:kafka #processname:kafka export JAVA_HOME=/usr/local/jvm/jdk1.8.0_201 export KAFKA_HOME=/usr/local/kafka case {KAFKA_HOME}/bin/kafka-server-start.sh -daemon {KAFKA_HOME}/bin/kafka-server-stop.sh            ;;        status)            jps            ;;        restart)  {KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties            ;;        *)            echo “require start|stop|status|restart”            ;; esac    #权限

 chmod 755 kafka
 
 #测试一下
 
 service kafka start
 
 #添加到服务列表
 
 chkconfig --add kafka
 
 chkconfig --list
 
 chkconfig kafka on

遇到的坑 Kafka进程总是在启动一段时间后自动停止 使用-daemon守护进程启动 kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

至此关于Linux系统成功安装kafa,大家快去动手试一下吧。

以上就是良许教程网为各位朋友分享的Linux系统相关内容。想要了解更多Linux相关知识记得关注公众号“良许Linux”,或扫描下方二维码进行关注,更多干货等着你!

137e00002230ad9f26e78-265x300

本文由 良许Linux教程网 发布,可自由转载、引用,但需署名作者且注明文章出处。如转载至微信公众号,请在文末添加作者公众号二维码。
良许

作者: 良许

良许,世界500强企业Linux开发工程师,公众号【良许Linux】的作者,全网拥有超30W粉丝。个人标签:创业者,CSDN学院讲师,副业达人,流量玩家,摄影爱好者。
上一篇
下一篇

发表评论

联系我们

联系我们

公众号:良许Linux

在线咨询: QQ交谈

邮箱: yychuyu@163.com

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部