大数据技术|基于Centos7的Flume安装 java|linux|flume

【大数据技术|基于Centos7的Flume安装】目录

一：Flume的安装
二：Flume案例
一：Flume的安装 1）将 apache-flume-1.7.0-bin.tar.gz 上传到 linux 的/opt/software 目录下2）解压 apache-flume-1.7.0-bin.tar.gz 到/opt/module/目录下3）修改 apache-flume-1.7.0-bin 的名称为 flume4）将 flume/conf 下的 flume-env.sh.template 文件修改为 flume-env.sh，并配置 flume-env.sh 文件

# 将flume解压到/opt/module/ tar -zxf apache-flume-1.7.0-bin.tar.gz -C /opt/module/# 修改解压后的文件名字 mv apache-flume-1.7.0-bin/ flume-1.7.0#进入flume的conf目录 cd flume-1.7.0/conf/#修改flume配置文件名字 mv flume-env.sh.template flume-env.sh#查看java安装目录 echo $JAVA_HOME输出为/opt/module/jdk1.8.0_144#配置flume的JAVA_HOME vim flume-env.sh修改：export JAVA_HOME=/opt/module/jdk1.8.0_144

二：Flume案例 1.安装 netcat 工具并判断 44444 端口是否被占用

[atguigu@hadoop112 conf]$sudo yum install -y nc此处会显示安装进度[atguigu@hadoop112 ~]$ sudo netstat -tunlp | grep 44444

2.Flume案例 a: 在 flume 目录下创建 job 文件夹并进入 job 文件夹。 b:在 job 文件夹下创建 Flume Agent 配置文件 flume-netcat-logger.conf。

[atguigu@hadoop112 ~]$ cd /opt/module/flume-1.7.0/ [atguigu@hadoop112 flume-1.7.0]$ sudo mkdir job [atguigu@hadoop112 flume-1.7.0]$ sudo chown atguigu:atguigu job/ [atguigu@hadoop112 flume-1.7.0]$ cd job/ [atguigu@hadoop112 job]$vim flume-netcat-logger.conf

c: 添加如下内容

# Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 # Describe the sink a1.sinks.k1.type = logger # Use a channel which buffers events in memory a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # Bind the source and sink to the channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1

d: 进入flume安装目录开启flume端口监听