博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark集群部署错误告警随记
阅读量:7226 次
发布时间:2019-06-29

本文共 924 字,大约阅读时间需要 3 分钟。

1,Error: Could not find or load main class namenode-format

这个是错误的把hadoop namenode -format 命令写成hadoop namenode-format

2,  WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

在/etc/profile中加上这两句

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

3,在master机器上打开浏览器,访问127.0.0.1:8080,只显示master而不显示worker的IP

这个可能是防火墙问题。关闭master的防火墙

#service iptables stop

#setenforce 0

 4,执行./bin/spark-shell报错:java.lang.IllegalArgumentException: java.net.UnknownHostException: namenode

原因是spark-defaults.conf时出现了问题,spark.eventLog.dir设置错了。如果spark.eventLog.enabled为 true,该属性为记录spark 事件的根目录。在此根目录中,Spark为 每个应用程序 创建分目录,并将 应用程序的 事件记录到在此目录中。用户可以将此属性设置为HDFS目录,以便history server读取历史记录文件。 可以将其设置为file:///home/hadoop/sparkdata/log

转载于:https://www.cnblogs.com/flyfish919/p/7534558.html

你可能感兴趣的文章
The DCI Architecture: A New Vision of Object-Oriented Programming(一篇具有里程碑式意义的论文)...
查看>>
RIP路由配置实例V2
查看>>
Bytescout Spreadsheet SDK for.NET
查看>>
我的友情链接
查看>>
Haproxy的三种保持客户端会话保持方式
查看>>
iOS的数学函数
查看>>
python 模块 chardet下载及介绍(转)
查看>>
能力工场--关于在JavaScript中使用EL表达式的问题
查看>>
NFS服务器设置
查看>>
s:iterator 中的status 使用方法
查看>>
cocos2d-x 源码剖析系列
查看>>
IT系统架构设计
查看>>
Nginx虚拟主机配置实践(一)
查看>>
细谈Spring(一)spring简介
查看>>
网络工程师的面试题
查看>>
nginx启动脚本
查看>>
常用输入法框架简介
查看>>
记录新机房建设。20130629
查看>>
安装ntop
查看>>
ssh远程登录讲解
查看>>