一：介绍
1.概述
-》flume的三大功能
collecting, aggregating, and moving 收集 聚合 移动数据源：web service RDBMS
采集： shell flume sqoop
清洗：mapreduce，hive
数据的保存：sqoop
监控与调度：hue，oozie
2.框图
时时的分析工具
-》Flume仅仅运行在linux环境下 -》非常简单 写一个配置文件，运行这个配置文件 source、channel、sink -》实时架构 flume+kafka spark/storm impala -》agent三大部分 -》source：采集数据，并发送给channel是产生数据流的地方，同时，source会将产生的数据流传输到channel、
-》channel：管道，用于连接source和sink的
保证数据的完整性，同时，可以减低网络的IO流。
-》sink：写数据，同时，采集channel中的数据
4.Event
5.Source/Channel/Sink
6.官网文档
7.配置source，channel，sink
二：配置
1.下载解压
下载的是Flume版本1.5.0
2.启用flume-env.sh
3.修改flume-env.sh
4.增加HADOOP_HOME
因为在env.sh中没有配置，选择的方式是将hdfs的配置放到conf目录下，主要有core，hdfs-site.xml。
全局查找HADOOP_HOME。
将hdfs的配置文件放到conf下。
在agent的配置文件中配置写明HDFS的绝对路径。
5.放入jar包
6.验证
7.用法
三：Flume的使用（hive-memory-logger）
1.案例1
source：hive.log channel:mem sink:logger
2.配置
cp flume-conf.properties.template hive-mem-log.properties
3.配置hive-mem-log.properties
4.运行
那边是日志级别
bin/flume-ng agent -c conf/ -n a1 -f conf/hive-mem-log.properties -Dflume.root.logger=INFO,console
5.注意点
这边的属于实时采集，所以在控制台上的信息随着hive.log的变化在变化
6.源配置文件
1 a1.sources = s1 2 a1.channels = c1 3 a1.sinks = k1 4 5 # For each one of the sources, the type is defined 6 a1.sources.s1.type = exec 7 a1.sources.s1.command = tail -f /opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/logs/hive.log 8 a1.sources.s1.shell = /bin/sh -c 9 10 11 # Each channel's type is defined.12 a1.channels.c1.type = memory13 14 15 # Each sink's type must be defined16 a1.sinks.k1.type = logger17 18 # The channel can be defined as follows.19 a1.sources.s1.channels = c120 #Specify the channel the sink should use21 a1.sinks.k1.channel = c122 23 # Other config values specific to each type of channel(sink or source)24 # can be defined as well25 # In this case, it specifies the capacity of the memory channel26 a1.channels.c1.capacity = 100
四：Flume的使用（hive-file-logger）
1.案例二
source：hive.log channel:file sink:logger
2.配置
cp hive-mem-log.properties hive-file-log.properties
3.配置hive-file-log.properties
新建file的目录
配置
4.运行
bin/flume-ng agent -c conf/ -n a1 -f conf/hive-file-log.properties -Dflume.root.logger=INFO,console
5.结果
6.源配置文件
1 a1.sources = s1 2 a1.channels = c1 3 a1.sinks = k1 4 5 # For each one of the sources, the type is defined 6 a1.sources.s1.type = exec 7 a1.sources.s1.command = tail -f /opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/logs/hive.log 8 a1.sources.s1.shell = /bin/sh -c 9 10 11 # Each channel's type is defined.12 a1.channels.c1.type = file13 a1.channels.c1.checkpointDir = /opt/datas/flume-ch/check14 a1.channels.c1.dataDirs = /opt/datas/flume-ch/data15 16 17 # Each sink's type must be defined18 a1.sinks.k1.type = logger19 20 # The channel can be defined as follows.21 a1.sources.s1.channels = c122 #Specify the channel the sink should use23 a1.sinks.k1.channel = c124 25 # Other config values specific to each type of channel(sink or source)26 # can be defined as well27 # In this case, it specifies the capacity of the memory channel
五：Flume的使用（hive-mem-hdfs）
1.案例三
source：hive.log channel:mem sink:hdfs
2.配置
cp hive-mem-log.properties hive-mem-hdfs.properties
3.配置hive-mem-hdfs.properties
4.运行
bin/flume-ng agent -c conf/ -n a1 -f conf/hive-mem-hdfs.properties -Dflume.root.logger=INFO,console
验证了，在配置文件中不需要有这个目录，会自动产生。
5.源文件
1 a1.sources = s1 2 a1.channels = c1 3 a1.sinks = k1 4 5 # For each one of the sources, the type is defined 6 a1.sources.s1.type = exec 7 a1.sources.s1.command = tail -f /opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/logs/hive.log 8 a1.sources.s1.shell = /bin/sh -c 9 10 11 # Each channel's type is defined.12 a1.channels.c1.type = memory13 14 15 # Each sink's type must be defined16 a1.sinks.k1.type = hdfs17 a1.sinks.k1.hdfs.path = /flume/hdfs18 19 # The channel can be defined as follows.20 a1.sources.s1.channels = c121 #Specify the channel the sink should use22 a1.sinks.k1.channel = c123 24 # Other config values specific to each type of channel(sink or source)25 # can be defined as well26 # In this case, it specifies the capacity of the memory channel27 a1.channels.c1.capacity = 100
六：企业思考一
1.案例四（文件的大小与个数）
因为在hdfs上会生成许多小文件，文件的大小的设置。
2.配置
cp hive-mem-hdfs.properties hive-mem-size.properties
3.配置hive-mem-size.properties
默认的文件大小是1024byte，就是1KB。
=0，表示不启用。
4.运行
bin/flume-ng agent -c conf/ -n a1 -f conf/hive-mem-size.properties -Dflume.root.logger=INFO,console
5.结果
6.源文件
1 a1.sources = s1 2 a1.channels = c1 3 a1.sinks = k1 4 5 # For each one of the sources, the type is defined 6 a1.sources.s1.type = exec 7 a1.sources.s1.command = tail -f /opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/logs/hive.log 8 a1.sources.s1.shell = /bin/sh -c 9 10 11 # Each channel's type is defined.12 a1.channels.c1.type = memory13 14 15 # Each sink's type must be defined16 a1.sinks.k1.type = hdfs17 a1.sinks.k1.hdfs.path = /flume/size18 a1.sinks.k1.hdfs.rollInterval = 019 a1.sinks.k1.hdfs.rollSize = 1024020 a1.sinks.k1.hdfs.rollCount = 021 22 # The channel can be defined as follows.23 a1.sources.s1.channels = c124 #Specify the channel the sink should use25 a1.sinks.k1.channel = c126 27 # Other config values specific to each type of channel(sink or source)28 # can be defined as well29 # In this case, it specifies the capacity of the memory channel30 a1.channels.c1.capacity = 100
七：企业思考一
1.案例五
按时间进行分区
2.配置
cp hive-mem-hdfs.properties hive-mem-part.properties
3.配置hive-mem-part.properties
4.运行
bin/flume-ng agent -c conf/ -n a1 -f conf/hive-mem-part.properties -Dflume.root.logger=INFO,console
5.运行结果
6.注意点
Note
For all of the time related escape sequences, a header with the key “timestamp” must exist among the headers of the event (unless hdfs.useLocalTimeStamp is set to true). One way to add this automatically is to use the TimestampInterceptor.
需要添加时间戳。
八：企业思考一
1.案例六
自定义文件开头
2.配置hive-mem-part.properties
默认的文件开头是FlumeData。
3.运行效果
九：数据仓库的架构
1.结构
2.普通的采集架构
但是IO过大。
3.服务器在window上的解决方式
Flume只能挂在linux上，如果日志在windows下，使用下面的解决方式。
搭建nfs。
十：企业思考二
1.案例七
source：用来监控文件夹
文件中先存在.tmp
到第二日出现新的.tmp文件。前一天的.tmp马上变成log结尾，这时监控文件夹时，马上发现出现一个新的文件，就被上传进HDFS
2.配置
cp hive-mem-hdfs.properties dir-mem-hdfs.properties
3.正则表达式忽略上传的.tmp文件
因为，企业刚生成是.tmp。
所以，先过滤掉tmp，先不上传。
3.配置dir-mem-hdfs.properties
新建文件夹
配置
4.观察结果
成功上传之后，文件的名字转为COMPLETED。
十一：企业思考二
1.案例二
source：监控文件夹下文件一次性写好文件名，日志只是不断动态追加
这个配置将在下面讲解
这个功能在1.7版本才有，所以在1.5上没有，所以需要自己编译去实现。
十二：企业实际架构
1.flume多sink
同一份数据采集到不同的框架
采集source：一份数据
管道channel：案例中使用两个管道
目标sink：多个针对于多个channel
2.案例
source：hive.log channel:file sink:hdfs
3.配置
cp hive-mem-hdfs.properties sinks.properties
4.配置sink.properties
新建存储的文件
配置
5.效果
十三：企业实际架构
1.flume的collect
主要解决多台flume对HDFS的写入，会造成IO，所以多出一个collect agent进行一个收集其他的agent的数据，然后再写入HDFS上。
Avro Source与Avro Sink是成对出现的，因为Avro Sink的数据有Avro Source进行采集。
2.案例
启动三台机器，其中两台为agent，一台collect。
192.168.134.241：collect
192.168.134.242：agent
192.168.134.243：agent
3.arvo-agent.properties
这个源文件的功能是将源日志发送到collect agent。
1 # The configuration file needs to define the sources, 2 # the channels and the sinks. 3 # Sources, channels and sinks are defined per a1, 4 # in this case called 'a1' 5 6 a1.sources = s1 7 a1.channels = c1 8 a1.sinks = k1 9 10 # define source11 a1.sources.s1.type = exec12 a1.sources.s1.command = tail -F /opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/logs/hive.log13 a1.sources.s1.shell = /bin/sh -c14 15 16 #define channel17 a1.channels.c1.type = memory18 a1.channels.c1.capacity = 100019 a1.channels.c1.transactionCapacity = 100020 21 #define sinks22 a1.sinks.k1.type = avro23 a1.sinks.k1.hostname = 192.168.134.24124 a1.sinks.k1.port = 5050525 26 # zuhe27 a1.sources.s1.channels = c128 a1.sinks.k1.channel = c1
4.操作
因为242与243的都是讲hive.log发送到241的机器，所以，直接将在242上刚写的文件avro-agent拷贝到243的flume的conf中即可。
5.avro-collect.properties
bind的意思是，取数据的ip。其实，别的机器都发送到241，所以取数据还是在241上取数据。
1 # The configuration file needs to define the sources, 2 # the channels and the sinks. 3 # Sources, channels and sinks are defined per a1, 4 # in this case called 'a1' 5 6 a1.sources = s1 7 a1.channels = c1 8 a1.sinks = k1 9 10 # define source11 a1.sources.s1.type = avro12 a1.sources.s1.bind = 192.168.134.24113 a1.sources.s1.port = 5050514 15 16 #define channel17 a1.channels.c1.type = memory18 a1.channels.c1.capacity = 100019 a1.channels.c1.transactionCapacity = 100020 21 #define sinks22 a1.sinks.k1.type = hdfs23 a1.sinks.k1.hdfs.path = /flume/hdfs24 a1.sinks.k1.hdfs.fileType = DataStream25 a1.sinks.k1.hdfs.filePrefix = avro26 27 # zuhe28 a1.sources.s1.channels = c129 a1.sinks.k1.channel = c1
6.运行
运行：collect
bin/flume-ng agent -c conf/ -n a1 -f conf/avro-collect.properties -Dflume.root.logger=INFO,console 运行：agent bin/flume-ng agent -c conf/ -n a1 -f conf/avro-agent.properties -Dflume.root.logger=INFO,console
十四：关于文件夹中文件处于追加的监控的处理
1.安装git
2.新建一个文件下
3.在git bash 中进入目录
4.在此目录下下载源码
5.进入flume目录
6.查看源码有哪些分支
7.切换分支
8.复制出flume-taildir-source
九。编译
1.pom文件
配置maven源，修改版本
2.在1.5.0中添加一个1.7.0中的类
PollableSourceConstants
3.删除override
4.编译
run as -> maven build
goals -> skip testf 
5.将jar包放在flume的lib目录下
6.使用
因为这是1.7.0的源码，所以在1.5的文档中没有。
所以：可以看源码
或者看1.7.0的参考文档关于Tail的介绍案例
\flume\flume-ng-doc\sphinx\FlumeUserGuide
7.配置
