益立胶囊 梁竹军:Windows下基于Eclipse的Hadoop开发环境完全配置（二）

Windows下基于Eclipse的Hadoop开发环境完全配置（二） 收藏
 接下来开始配置Hadoop了，一，解压文件 打开一个cygwin，输入以下命令      cd .      explorer .会弹出一个新窗口，把原来下载的hadoop压缩文件放到里面，并解压。个人认为，其实不一定要放到cygwin的用户根目录下，没试过。二，配置Hadoop 打开解压出来的文件夹，在 hadoop-0.19.2\conf 目录下有一个 hadoop-site.xml 文件，打开，在原有的间插入
fs.default.name
hdfs://localhost:9100


mapred.job.tracker
localhost:9101


dfs.replication
1
保存。三，格式化Name Node 打开一个cygwin，转到hadoop目录下，如果按照前面的解压，直接用cd hadoop-0.19.2就可以了，接着输入以下命令：
      mkdir logs
      bin/hadoop namenode -format四，安装Eclipse插件 打开解压后的文件夹，把hadoop-0.19.2\contrib\eclipse-plugin下的hadoop-0.19.2-eclipse- plugin.jar文件拷到eclipse 的plugins目录下，重启eclipse，在Window-》Open Perspective-》other，弹出的窗口中应该有一项Map/Reduce项，代表安装成功了。如果没有的话，把eclipse下的 configuration\org.eclipse.update文件夹删了，再重启eclipse。 
五，启动Hudoop集群 启动五个cygwin。在第一中启动NameNode，执行：
cd hadoop-0.19.2
bin/hadoop namenode在第二个中启动Secondary NameNode，执行：
cd hadoop-0.19.2
bin/hadoop secondarynamenode第三个中启动job tracker 执行：
cd hadoop-0.19.2
bin/hadoop jobtracker第四个中启动data node ，执行
cd hadoop-0.19.2
bin/hadoop datanode最后一个启动 task tracker， 执行：
cd hadoop-0.19.2
bin/hadoop tasktracker六，在Eclipse中配置环境 启动eclipse，转到Map/Reduce Perspective,在上图的Map/Reduce Locations里，新建一个Location，填入以下值    * Location Name -- localhost
    * Map/Reduce Master
          o Host -- localhost
          o Port -- 9101
    * DFS Master
          o Check "Use M/R Master Host"
          o Port -- 9100
    * User name -- 默认 
七，上传文件到HDFS 打开一个cygwin，执行      cd hadoop-0.19.1
      bin/hadoop fs -mkdir In
      bin/hadoop fs -put *.txt In这时，在eclipse的Project explorer的DFS location中，应该能反应变化，没有的话，reconnect一下 好了，东西都准备好了，下篇就可以开始创建工程了。 启动Eclipse，右键点击  Project Explorer 窗口，选择 New -> Project.. 找到 Map/Reduce Project， 点Next ，输入名字。
点击下面的Config Hadoop Install Directiory，输入Hadoop的目录，如：C:\cygwin\home\User\hadoop-0.19.2
 右键点击新创建的 Hadoop 工程，选择  New -> Other 转到 Map/Reduce 文件夹, 选择 MapReduceDriver 然后点击 Next ，输入名字，点击Finish。
新创建了一个文件，但是有错误，把
conf.setInputPath(new Path("src"));
conf.setOutputPath(new Path("out"));换为conf.setInputFormat(TextInputFormat.class);
conf.setOutputFormat(TextOutputFormat.class);FileInputFormat.setInputPaths(conf, new Path("In"));
FileOutputFormat.setOutputPath(conf, new Path("Out"));
右键点击文件，选择 Run As --> Run on Hadoop. 弹出以下窗口：  选择 "Choose existing hadoop location" , 然后选择刚才创建的localhost ，点Finish 就开始运行了.结束了^_^