良许Linux教程网 干货合集 Linux系统安装Flink详细教程

Linux系统安装Flink详细教程

Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本篇文章和大家分享一下Linux系统安装Flink具体步骤。

u=1428427256,972735638&fm=26&gp=0

Flink简介:

在当前的互联网用户,设备,服务等激增的时代下,其产生的数据量已不可同日而语了。各种业务场景都会有着大量的数据产生,如何对这些数据进行有效地处理是很多企业需要考虑的问题。以往我们所熟知的Map Reduce,Storm,Spark等框架可能在某些场景下已经没法完全地满足用户的需求,或者是实现需求所付出的代价,无论是代码量或者架构的复杂程度可能都没法满足预期的需求。新场景的出现催产出新的技术,Flink即为实时流的处理提供了新的选择。Apache Flink就是近些年来在社区中比较活跃的分布式处理框架,加上阿里在中国的推广,相信它在未来的竞争中会更具优势。 Flink的产生背景不过多介绍,感兴趣的可以Google一下。Flink相对简单的编程模型加上其高吞吐、低延迟、高性能以及支持exactly-once语义的特性,让它在工业生产中较为出众。相信正如很多博客资料等写的那样”Flink将会成为企业内部主流的数据处理框架,最终成为下一代大数据处理标准。”

Linux系统安装Flink具体步骤:

一、下载Flink(2种方式为了简单我用第二种。)

1、手动下载Flink

1.1、官网下载:https://flink.apache.org/downloads.html#apache-flink-172

file

1.2、下载压缩包 上传服务器自己创建的目录(略)。

2、自动下载Flink

file

 创建目录: mkdir /root/kingyifan/flink
 
 下载Flink: wget mirrors.hust.edu.cn/apache/flink/flink-1.7.2/flink-1.7.2-bin-hadoop24-scala_2.11.tgz(版本号请访问网站自行查询)

具体版本号请查阅:http://mirrors.hust.edu.cn/apache/flink/

file

二、解压压缩包

file

 命令:tar -zxvf flink-1.7.2-bin-hadoop24-scala_2.11.tgz

解压成功:

file

三、启动Flink

file

 进入bin目录:cd /root/kingyifan/flink/flink-1.7.2/bin/
 
 启动flink:./start-cluster.sh

查看是否启动成功:

file

  命令:jps

三、centos6开放flink默认端口(8081) 修改iptables

file

 进入配置iptables:vi /etc/sysconfig/iptables
 
 增加:-A INPUT -m state --state NEW -m tcp -p tcp --dport 8081 -j ACCEPT

重启防火墙:service iptables restart

file

四、访问ui界面:192.168.241.134:8081

file

五、测试 5.1 先xsheel复制三个会话:

file

打开第一个会话:

file

 启动一个终端(端口随意):nc -lk 8888

打开第二个会话:

file

 进入bin目录:cd /root/kingyifan/flink/flink-1.7.2/
 
 命令:bin/flink run examples/streaming/SocketWindowWordCount.jar --port 8888

打开第三个会话:

file

 进入log目录:cd /root/kingyifan/flink/flink-1.7.2/log
 
 命令:tail -f flink-root-taskexecutor-5-localhost.localdomain.out(不一定是这个日志文件)

日志目录:

file

在第一个会话随便输入内容

file

看第三个内容:

file

有没有一个疑惑 后面的1是个什么?

他在几算多少秒内出现了多少次 我们随便输几个1测试一下

file

发现他已经几算出来了。

file

我们也可以看一下Running Jobs

file

以上就是良许教程网为各位朋友分享的Linux系统相关内容。想要了解更多Linux相关知识记得关注公众号“良许Linux”,或扫描下方二维码进行关注,更多干货等着你!

137e00002230ad9f26e78-265x300

本文由 良许Linux教程网 发布,可自由转载、引用,但需署名作者且注明文章出处。如转载至微信公众号,请在文末添加作者公众号二维码。
良许

作者: 良许

良许,世界500强企业Linux开发工程师,公众号【良许Linux】的作者,全网拥有超30W粉丝。个人标签:创业者,CSDN学院讲师,副业达人,流量玩家,摄影爱好者。
上一篇
下一篇

发表评论

电子邮件地址不会被公开。 必填项已用*标注

联系我们

联系我们

公众号:良许Linux

在线咨询: QQ交谈

邮箱: yychuyu@163.com

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部