频道栏目
IT货架 > > 正文
flume简介和安装
网友分享于:Jun 12, 2018 11:38:51 PM    来源: IT货架   

 

 

flume地址:
0) 官网地址: http://flume.apache.org/
1)官网学习:
http://flume.apache.org/documentation.html  点击 User Guide ---> http://flume.apache.org/FlumeUserGuide.html
2) 下载地址:
http://flume.apache.org/download.html

 

 

 

flume简介:
a) flume是一个分布式的数据收集系统,具有高可靠、高可用、事务管理、失败重启等功能。数据处理速度快,完全可以用于生产环境。
b) flume是分布式的日志收集系统(这里的日志是一个范范统称,可以是日志 可以是命令行输出 可以是数据文件),把收集来的数据传送到目的地去。
c) flume的核心是agent。agent是一个java进程,运行在日志收集端,通过agent接收日志,然后暂存起来,再发送到目的地
d) agent包含三个核心组件: source, channel,sink;
d.1) source:
source组件把数据收集到之后,临时存放在channel中
source组件可以处理各种格式的日志数据,eg:avro Sources、thrift Sources、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy、自定义。
支持的这些格式都可以通过http://flume.apache.org/documentation.html  点击 User Guide ---> http://flume.apache.org/FlumeUserGuide.html查询到
d.2) channel:
用于临时存数据,相当于一个中转站,其存放的数据只有在sink发送成功后才会被删除,
临时存放的数据存放在memory Channel、jdbc Channel、file Channel、自定义。
d.3) sink组件:
用于把数据发送到目的地的组件。
目的地包括hdfs、logger、avro、thrift、ipc、file、null、hbase、solr、自定义。

4.在整个数据传输过程中,流动的是event。事务保证是在event级别
  event:你可以理解为 日志如果为10行日志消息,那么每一行就是一个event

 

flume安装:

 

// 解压如下两个包[root@master local]# tar -zxvf apache-flume-1.4.0-bin.tar.gz[root@master local]# tar -zxvf apache-flume-1.4.0-src.tar.gz// 拷贝src下所有到bin下 并覆盖bin文件夹下同名的文件[root@master local]# cp -ri apache-flume-1.4.0-src/* apache-flume-1.4.0-bin/cp: overwrite `apache-flume-1.4.0-bin/bin/flume-ng'? ycp: overwrite `apache-flume-1.4.0-bin/CHANGELOG'? ycp: overwrite `apache-flume-1.4.0-bin/conf/log4j.properties'? ycp: overwrite `apache-flume-1.4.0-bin/conf/flume-env.sh.template'? ycp: overwrite `apache-flume-1.4.0-bin/conf/flume-conf.properties.template'? ycp: overwrite `apache-flume-1.4.0-bin/DEVNOTES'? ycp: overwrite `apache-flume-1.4.0-bin/LICENSE'? ycp: overwrite `apache-flume-1.4.0-bin/NOTICE'? ycp: overwrite `apache-flume-1.4.0-bin/README'? ycp: overwrite `apache-flume-1.4.0-bin/RELEASE-NOTES'? y// 删除src文件夹[root@master local]# rm -rf apache-flume-1.4.0-src// 重命名[root@master local]# mv apache-flume-1.4.0-bin flume

 

flume架构图:



 

 

 

flume配置:

 

 

 

 

大小: 20.8 KB查看图片附件

广告服务联系QQ:1134687142 | 网站地图

版权所有: IT货架- 内容来自互联网,仅供用于技术学习,请遵循相关法律法规. 京ICP备11030978号-1