使用yum安装计划任务功能,结果提示:
# yum -y install vixie-cron Loaded plugins: fastestmirror, refresh-packagekit, security Existing lock /var/run/yum.pid: another copy is running as pid 25960. Another app is currently holding the yum lock; waiting for it to exit...1234可能是系统自动升级正在运行,yum在锁定状态中。 已经有一个yum进程在运行了,使用kill干掉它:
# kill -s 9 25960 # ps aux|grep yum root 6744 0.0 0.0 103260 900 pts/1 S+ 14:59 0:00 grep yum root 25960 0.0 0.0 0 0 ? Z Sep19 0:01 [yumBackend.py] <defunct>1234很遗憾,kill对付不了它,那怎么办呢?
可以通过强制关掉yum进程:
#rm -f /var/run/yum.pid1然后就可以使用yum了。
国内jdk镜像地址:
https://repo.huaweicloud.com/java/jdk/
将本机软件包拷贝到100.32.32.34服务器的scott家目录的software文件夹中
scp jdk-8u192-linux-x64.tar.gz scott@100.32.32.34:~software/wget安装:
wget https://repo.huaweicloud.com/java/jdk/8u192-b12/jdk-8u192-linux-x64.tar.gz tar -zvxf jdk-8u192-linux-x64.tar.gz -C ~/app/ #解压到~/app目录配置环境变量,修改~/.bash_profile文件
vim .bash_profile注意等号前后无空格
export JAVA_HOME=/home/scott/app/jdk1.8.0_192 export PATH=$JAVA_HOME/bin:$PATH source .bash_profile #使配置生效1、用yum安装jdk(强烈不推荐,无法安装到自己想装的位置,容易下载成jre)
sudo yum install java-1.8.0-openjdk2、卸载用yum安装的jdk
yum -y remove java-1.8.0-openjdk*1、先找到java执行文件路径
whereis java输出:java: /usr/bin/java
2、根据执行文件找到对应的软链接指向的文件路径
ls -lrt /usr/bin/java输出: /usr/bin/java -> /etc/alternatives/java
3、进入/etc/alternatives/目录,发现还不是源文件目录。继续找
ls -lrt /etc/alternatives/java输出:/etc/alternatives/java -> /usr/java/jdk-9.0.1/bin/java
看到jdk字样了。应该是源文件目录了。进入到路径
cd /usr/java/jdk-9.0.1/参考文档:
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1/hadoop-project-dist/hadoop-common/SingleCluster.html
下载地址:
http://www.apache.org/dyn/closer.cgi/hadoop/common/
下载
wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz解压
tar -zvxf hadoop-2.8.5.tar.gz -C ~/app添加HADOOP_HOME/bin到系统环境变量
vim .bash_profile export HADOOP_HOME=/home/scott/app/hadoop-2.8.5 export PATH=$HADOOP_HOME/bin:$PATH source .bash_profilehadoop软件包常见目录说明
bin:hadoop客户端名单
etc/hadoop:hadoop相关的配置文件存放目录
sbin:启动hadoop相关进程的脚本
share:常用例子程序
配置:
hadoop-env.sh
vim etc/hadoop/hadoop-env.sh export JAVA_HOME=${JAVA_HOME} #JAVA_HOME要配置无误core-site.xml
vim etc/hadoop/core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>hdfs-site.xml:
vim etc/hadoop/hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> <configuration> <property> <name>hadoop.tmp.dir</name> <value>/home/scott/app/tmp</value> </property> </configuration>slaves
vim /home/scott/app/hadoop-2.8.5/etc/hadoop/slaves启动HDFS
第一次执行的时候一定要格式化,不要重复。会在hadoop.tmp.dir目录下面生成文件
hdfs namenode -format启动集群:
$HADOOP_HOME/sbin/start-dfs.sh验证:
jps查看防火墙状态,然后关闭
firewall-cmd --state systemctl stop firewalld.service遇到问题
默认ssh端口号不是22,需要在hadoop-env.sh添加如下配置
export HADOOP_SSH_OPTS="-p 1234"设置无密码ssh,不然每次启动hdfs都要输入密码
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keysmkdir: 无法创建目录"/logs": 权限不够
sudo chown -R 你自己电脑的用户名 $HADOOP_HOME如下
sudo chown -R scott /home/scott/app/hadoop-2.8.5最终解决办法:修改之前hadoop-env.sh的配置。不能用${HOME}
export JAVA_HOME=/home/scott/app/jdk1.8.0_192 export HADOOP_PREFIX=/home/scott/app/hadoop-2.8.5