下載安裝包

進(jìn)入官網(wǎng)下載下載hadoop的安裝包（二進(jìn)制文件）http://hadoop.apache.org/releases.html

我們這里下載2.10.1版本的，如果想下載更高版本的請(qǐng)先去maven倉(cāng)庫(kù)查看是否有對(duì)應(yīng)版本

下載好的.gz文件可以直接解壓。

winRAR和Bandizip都可以用來(lái)解壓，但是注意必須以管理員身份打開(kāi)解壓軟件，否則會(huì)出現(xiàn)解壓錯(cuò)誤

配置JAVA_HOME和HADOOP_HOME

我們?cè)诃h(huán)境變量處分別設(shè)置JAVA_HOME和HADOOP_HOME

然后在Path里添加JAVA和hadoop的二進(jìn)制文件夾，bin文件夾

打開(kāi)你的cmd，輸入以下命令，出現(xiàn)我這樣的輸出說(shuō)明配置環(huán)境變量成功：

C:Userslenovo>hadoop -version

HDFS配置

來(lái)到之前解壓的hadoop文件夾下，打開(kāi)etc/hadoop文件夾

現(xiàn)在我們的任務(wù)就是修改這些文件當(dāng)中的代碼，務(wù)必修改，不然根本無(wú)法運(yùn)行hadoop！！

修改 hadoop-env.cmd

將configuration處更改為：

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://0.0.0.0:9000</value> </property></configuration>

修改 hdfs-site.xml

將configuration處更改為如下所示，其中file:///E:/DevTols/hadoop-2.10.1/namespace_logsfile:///E:/DevTols/hadoop-2.10.1/data這兩個(gè)文件夾一定需要是已經(jīng)存在的文件夾，你可以在你的hadoop文件夾下隨意創(chuàng)建兩個(gè)文件夾，然后將下面的這兩個(gè)文件夾的絕對(duì)路徑替換成你的文件夾，這里我也是創(chuàng)建了兩個(gè)新的文件夾，hadoop的下載文件夾里本身是沒(méi)有的。

將configuration標(biāo)簽及內(nèi)容替換為

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.name.dir</name> <value>file:///E:/DevTols/hadoop-2.10.1/namespace_logs</value> </property> <property> <name>dfs.data.dir</name> <value>file:///E:/DevTols/hadoop-2.10.1/data</value> </property></configuration>

修改 mapred-site.xml

將下方的%USERNAME%替換成你windows的用戶名用戶名可以通過(guò)win鍵查看

<configuration> <property> <name>mapreduce.job.user.name</name> <value>%USERNAME%</value> </property> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>yarn.apps.stagingDir</name> <value>/user/%USERNAME%/staging</value> </property> <property> <name>mapreduce.jobtracker.address</name> <value>local</value> </property></configuration>

注意以上代碼有兩個(gè)地方的%USERNAME%需要替換，不要漏了！！！

修改 yarn-site.xml

<configuration> <property> <name>yarn.server.resourcemanager.address</name> <value>0.0.0.0:8020</value> </property> <property> <name>yarn.server.resourcemanager.application.expiry.interval</name> <value>60000</value> </property> <property> <name>yarn.server.nodemanager.address</name> <value>0.0.0.0:45454</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.server.nodemanager.remote-app-log-dir</name> <value>/app-logs</value> </property> <property> <name>yarn.nodemanager.log-dirs</name> <value>/dep/logs/userlogs</value> </property> <property> <name>yarn.server.mapreduce-appmanager.attempt-listener.bindAddress</name> <value>0.0.0.0</value> </property> <property> <name>yarn.server.mapreduce-appmanager.client-service.bindAddress</name> <value>0.0.0.0</value> </property> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>-1</value> </property> <property> <name>yarn.application.classpath</name> <value>%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*</value> </property></configuration>

初始化環(huán)境變量

在windows下的cmd，輸入cmd的命令，用于初始化環(huán)境變量。

%HADOOP_HOME%etchadoophadoop-env.cmd

格式化文件系統(tǒng)

這個(gè)命令在整個(gè)hadoop的配置環(huán)境和之后的使用當(dāng)中務(wù)必僅使用一次！將如下的命令輸入到cmd當(dāng)中進(jìn)行格式化：

hadoop namenode -format

會(huì)彈出一大堆指令，只要看到其中有如下提示，就說(shuō)明格式化成功

INFO common.Storage: Storage directory E:DevTolshadoop-2.10.1namespace_logs has been successfully formatted.

向hadoop文件當(dāng)中注入winutills文件

由于windows下想要開(kāi)啟集群，會(huì)有一定的bug，因此我們?nèi)ゾW(wǎng)站：https://github.com/steveloughran/winutils下載對(duì)應(yīng)版本的winutils.exe文件。打開(kāi)這個(gè)Github倉(cāng)庫(kù)后如下所示：

我們打開(kāi)hadoop2.8.3/bin，選擇其中的winutils.exe文件進(jìn)行下載，然后將下載的這個(gè)文件放入到本地的hadoop/bin文件當(dāng)中。不然的話，你打開(kāi)一會(huì)兒你的偽分布式集群，馬上hadoop就會(huì)自動(dòng)關(guān)閉，缺少這兩個(gè)文件的話。

向hadoop文件當(dāng)中添加hadoop.dll文件

hadoop.dll文件是啟動(dòng)集群時(shí)必須的，如果在安裝過(guò)程中悲催地發(fā)現(xiàn)/bin目錄下沒(méi)有該文件（比如博主），就需要去網(wǎng)上自學(xué)下載該文件。進(jìn)入網(wǎng)頁(yè)https://github.com/4ttty/winutils，根據(jù)箭頭所指步驟下載hadoop.dll文件

下載完成后，把文件添加到/bin目錄

開(kāi)啟hadoop集群

在cmd當(dāng)中輸入

%HADOOP_HOME%/sbin/start-all.cmd

這樣就會(huì)跳出來(lái)很多黑色的窗口，如下所示：

然后可以使用JPS工具查看目前開(kāi)啟的node有哪些，如果出現(xiàn)namenode，datanode的話說(shuō)明集群基本上就成功了。如下所示：

打開(kāi)本地瀏覽器進(jìn)行驗(yàn)證

我們?cè)跒g覽器輸入localhost:50070,如果能夠打開(kāi)這樣的網(wǎng)頁(yè)，說(shuō)明hadoop已經(jīng)成功開(kāi)啟：

IDEA 配置

歷經(jīng)千辛萬(wàn)苦我們總算安裝完Hadoop了，下面在IDEA上用maven配置hadoop

創(chuàng)建MAVEN項(xiàng)目工程

打開(kāi)IDEA之后，里面的參數(shù)和項(xiàng)目工程名稱隨便寫，等待工程創(chuàng)建完畢即可。然后我們編輯pom.xml文件

<?xml version='1.0' encoding='UTF-8'?><project xmlns='http://maven.apache.org/POM/4.0.0' xmlns:xsi='http://www.w3.org/2001/XMLSchema-instance' xsi:schemaLocation='http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd'> <modelVersion>4.0.0</modelVersion> <groupId>com.atguigu</groupId> <artifactId>hdfs1205</artifactId> <version>1.0-SNAPSHOT</version> <properties><maven.compiler.source>8</maven.compiler.source><maven.compiler.target>8</maven.compiler.target> </properties> <dependencies><dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version></dependency><dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId> <version>2.8.2</version></dependency><dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.10.1</version></dependency><dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.10.1</version></dependency><dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.10.1</version></dependency> </dependencies></project>

點(diǎn)擊右下方的auto-import，自動(dòng)安裝jar包。完成后左側(cè)External Libraries可以看到添加了很多個(gè)jar包，如下圖

這樣就說(shuō)明我們導(dǎo)入maven倉(cāng)庫(kù)成功了。

編寫log4j.proporties配置文件

在src/main/resources目錄下創(chuàng)建log4j.proporties文件，編寫如下代碼

log4j.rootLogger=debug, stdout, Rlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout=org.apache.log4j.PatternLayout# Pattern to output the caller’s file name and line number.log4j.appender.stdout.layout.ConversionPattern=%5p [%t] (%F:%L) - %m%nlog4j.appender.R=org.apache.log4j.RollingFileAppenderlog4j.appender.R.File=example.loglog4j.appender.R.MaxFileSize=100KB# Keep one backup filelog4j.appender.R.MaxBackupIndex=5log4j.appender.R.layout=org.apache.log4j.PatternLayoutlog4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n編寫Java文件

終于到最后一步了，編寫java文件并執(zhí)行別忘了先hadoop偽分布式集群！！！cmd中編寫%HADOOP_HOME%/sbin/start-all.cmd

import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.net.URI;public class Test { public static void main(String[] args) throws Exception {FileSystem fs = FileSystem.get(new URI('hdfs://127.0.0.1:9000'), new Configuration());FileStatus[] files = fs.listStatus(new Path('/'));for (FileStatus f : files) { System.out.println(f);}System.out.println('Compile Over'); }}

這段代碼的含義是遍歷hadoop文件系統(tǒng)(HDFS)下的root下所有文件的狀態(tài)，并輸出

完成以后在cmd輸入%HADOOP_HOME%/sbin/start-all.cmd關(guān)閉偽集群

為了方便可以配置%HADOOP_HOME%/sbin/start-all.cmd和%HADOOP_HOME%/sbin/start-all.cmd的環(huán)境變量，這里不再贅述，留給讀者發(fā)揮。

到這里Window10下使用IDEA搭建開(kāi)發(fā)環(huán)境就完成了，撒花！！！

到此這篇關(guān)于Window10下使用IDEA搭建Hadoop開(kāi)發(fā)環(huán)境的文章就介紹到這了,更多相關(guān)IDEA搭建Hadoop開(kāi)發(fā)環(huán)境內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)！