flume入门案例问题合集(亲测有用)

发布于:2022-12-25 ⋅ 阅读:(461) ⋅ 点赞:(0)

刚学一点点、、后续遇到问题再添加

一、查看flume版本出现问题

[root@master flume-1.9.0]# bin/flume-ng version
错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty
错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty
错误: 找不到或无法加载主类 org.apache.flume.tools.VersionInfo

解决:

环境变量配错了

检查一下 /etc/profile

二、开启flume监听端口出现问题

1、SLFJ:slf4j-log4j12-1.7.10.jar冲突

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/soft/flume-1.9.0/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/soft/hadoop-2.7.6/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/soft/hbase-1.4.6/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

解决:改名或者删除

[root@master lib]# mv /usr/local/soft/flume-1.9.0/lib/slf4j-log4j12-1.7.25.jar /usr/local/soft/flume-1.9.0/lib/slf4j-log4j12-1.7.25.jar.bak
[root@master lib]# mv /usr/local/soft/hbase-1.4.6/lib/slf4j-log4j12-1.7.10.jar /usr/local/soft/hbase-1.4.6/lib/slf4j-log4j12-1.7.10.jar.bak

2、log4j缺失

log4j:WARN No appenders could be found for logger (org.apache.flume.lifecycle.LifecycleSupervisor).

解决:

检查一下启动命令

[root@master flume-1.9.0]# bin/flume-ng agent -n a1 -c conf -f job/net-flume-logger.conf -Dflume.root.logger=INFO,console

我是因为 INFO console之间用了.(不是,)才出现这个问题(好弱智。。。)

要在安装的flume目录下启动

-c conf (这个conf就是安装的flume下的conf目录)

三、服务端无法通信

Ncat: Connection refused.

解决nc/netcat:无法找到命令的问题

[root@node1 ~]# nc localhost 44444
Ncat: Connection refused.

[root@node1 ~]# netcat
bash: netcat: 未找到命令...
[root@node1 ~]# whereis nc
nc: /usr/bin/nc /usr/share/man/man1/nc.1.gz

说明默认的nc链接到了ncat,并没有安装到netcat

1、yum install -y epel-release

2、sudo yum install -y netcat

3、输入netcat 出现:说明安装成功

[root@master netcat-0.7.1]# netcat
usage: nc [-46cDdFhklNnrStUuvz] [-C certfile] [-e name] [-H hash] [-I length]
      [-i interval] [-K keyfile] [-M ttl] [-m minttl] [-O length]
      [-o staplefile] [-P proxy_username] [-p source_port] [-R CAfile]
      [-s sourceaddr] [-T keyword] [-V rtable] [-W recvlimit] [-w timeout]
      [-X proxy_protocol] [-x proxy_address[:port]] [-Z peercertfile]
      [destination] [port]

4、whereis netcat 

netcat: /usr/bin/netcat /usr/share/man/man1/netcat.1.gz

5、cd /usr/bin/

6、mv netcat nc

这个方法亲测,可以解决连接问题,困扰了我好久呵呵。。。。

四、向本机端口通信出现问题

又出现了一个很弱智的问题。。。。

开了个终端node1(节点master监听)来通信,输入nc localhost 44444 或者nc master 44444 或者 nc master的ip地址 44444 都没反应。。。就算连上了传的数据也对不上、、

然后我重开了一个master终端。。输入nc localhost 44444就可以了

本文含有隐藏内容,请 开通VIP 后查看

网站公告

今日签到

点亮在社区的每一天
去签到