Window10安装Hadoop 2.7.0
一、下载hadoop
官网:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.0/hadoop-2.7.0.tar.gz
清华镜像:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.0/hadoop-2.7.0.tar.gz
二、解压文件,下载https://github.com/cdarlint/winutils,根据版本将所有内容复制到安装目录的/bin文件夹内
三、进入hadoop ,配置JAVA_HOME变量(如果已配置就不要配置了)
四、配置HADOOP_HOME,并将%HADOOP_HOME%\bin加入到环境变量中。
五、打印版本信息
六、新建name和data文件夹
七、配置文件
hdfs-site.xml
core-site.xml
mapred-site.xml
yarn-site.xml
八、运行Hadoop,开始初始化HDFS系统 hdfs namenode -format
九、启动
十、启动会打开四个窗口,namenode,datanode,nodemanager resourcemanager
十三、jps查看java接口的进程号
十四、出现的报错
Could not locate Hadoop executable: D:\ATS\hadoop-2.7.0\bin\winutils.exe -see https://wiki.apache.org/hadoop/WindowsProblems,是因为在hadoop/bin目录下缺少了winutils.exe和hadoop.dll,解决:https://github.com/cdarlint/winutils。
另外3.2.1版本有bug,如下报错。Window10安装hadoop-3.2.1(https://kontext.tech/column/hadoop/377/latest-hadoop-321-installation-on-windows-10-step-by-step-guide#google_vignette)