Hadoop安装部署

Hadoop实战-初级部分 之 Hadoop安装部署
浏览(2228)|评论(22)   交流分类：Java|笔记分类: Hadoop实战-初……

私塾在线《深入浅出学  Hadoop-  初级  部分》   ——  系列精品教程
视频课程地址》》》 http://sishuok.com/product/481
整体课程概览
第一部分：开始云计算之旅
第二部分：初识Hadoop
第三部分：Hadoop 环境安装部署
第四部分：Hadoop Shell 基本操作介绍
第五部分：Hadoop  分布式文件系统1
第五部分：Hadoop  分布式文件系统2
第五部分：Hadoop  分布式文件系统3
第六部分：MapReduce  开发1
第六部分：MapReduce  开发2
第七部分：Hadoop集群的安装

本节课程概览
Hadoop 在windows 上伪分布式的安装过程
Hadoop 在linux  上单节点伪分布式的安装过程
集成Eclipse 开发环境
Hadoop UI 介绍
运行WordCounter  事例


第一部分：Hadoop 在windows 上伪分布式的安装过程
安装JDK
1.下载JDK
       http://www.oracle.com/technetwork/java/javaee/downloads/java-ee-sdk-6u3-jdk-6u29-downloads-523388.html
2.解压
   或者直接运行.exe安装
后面根据项目的实际需要来进行调整。
安装 Cygwin
1.下载Cygwin
    网址： http://www.cygwin.com/setup.exe
2.安装Cygwin
1. Net Category 下的OpenSSL
2.    Base Category 下的sed
3.Editors Category 下的vim
4.Devel Category  下subversion
后面根据项目的实际需要来进行调整。

配置环境变量
1.配置JAVA 环境变量
    PATH 和JAVA_HOME：
        JAVA_HOME 指向JDK安装目录；
        PATH 指向JDK的bin

启动 SSHD 服务
1.安装SSHD
   ssh-host-config
2. 启动SSHD
    net start sshd
ssh 的安装和配置
实现ssh无密码登陆
$ssh-keygen -t rsa 
直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对
出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys
$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys完成后可以实现无密码登录本机

安装 Hadoop
1.下载Hadoop
   http://labs.mop.com/apache-mirror/hadoop/common/hadoop-1.0.0/
2.解压Hadoop
         tar xzvf hadoop-0.21.0.tar.gz
配置 Hadoop
1. 配置hadoop-env.sh
2 .配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件
概念
HDFS:
      NameNode  ：管理节点
      DataNode   ：数据节点
      SecondaryNamenode : 数据源信息备份整理节点

MapReduce
       JobTracker  ：任务管理节点
       Tasktracker  ：任务运行节点

配置文件
       core-site.xml   common属性配置
       hdfs-site.xml    HDFS属性配置
       mapred-site.xml  MapReduce属性配置
       hadoop-env.sh     hadooop 环境变量配置
修改 hadoop-env.sh
配置JDK即可
export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_25
core-site.xml

java代码：
查看复制到剪贴板打印

    <configuration>      
    <property>   
           <name>fs.default.name</name>   
           <value>hdfs://localhost:9000</value>   
    </property>   
    <property> 
           <name>hadoop.tmp.dir</name> 
            <value>/hadoop</value> 
         </property> 
    </configuration>   


hdfs-site.xml

java代码：
查看复制到剪贴板打印

    <configuration>      
       <property>   
             <name>dfs.replication</name>   
             <value>1</value>   
        </property>   
    </configuration>   

mapred-site.xml
java代码：
查看复制到剪贴板打印

    <configuration>      
        <property>   
             <name>mapred.job.tracker</name>   
             <value>localhost:9001</value>   
        </property>   
    </configuration>   


启动 Hadoop
1.格式化文件系统
      hadoop namenode –format
2. 启动hadoop
      启动所有任务start-all.sh/stop-all.sh
      启动关闭HDFS: start-dfs.sh/stop-dfs.sh
      启动关闭MapReduce:  start-mapred.sh/stop-mapred.sh     
3. 用jps命令查看进程,确保有   namenode,dataNode,JobTracker,TaskTracker
     
第二部分：Hadoop 在linux  上单节点伪分布式的安装过程
安装 JDK
$chmod +x jdk-6u27-linux-i586.bin
$./jdk-6u27-linux-i586.bin
安装完后设置java 环境变量如下
命令 ：/home路径下
$vi .bashrc
然后添加如下语句
export JAVA_HOME=/home/test/ jdk1.6.0_27
export PATH =/bin:$JAVA_HOME/bin:/usr/bin:$PATH:.
然后. .bashrc使其生效

ssh 的安装和配置
$实现ssh无密码登陆
$sudo apt-get install ssh
$ssh-keygen
直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对
出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys
$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys完成后可以实现无密码登录本机


Hadoop 安装
1.下载Hadoop
   http://labs.mop.com/apache-mirror/hadoop/common/hadoop-1.0.0/
2.解压Hadoop
         tar xzvf hadoop-0.21.0.tar.gz
3. 添加Hadoop Bin到环境变量中

修改 hadoop-env.sh
配置JDK即可
export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_25


conf/core-site.xml

java代码：
查看复制到剪贴板打印

    <configuration>      
        <property>   
              <name>fs.default.name</name>   
              <value>hdfs://localhost:9000</value>   
          </property>   
          <property> 
               <name>hadoop.tmp.dir</name> 
               <value>/hadoop</value> 
           </property> 
    </configuration>   


conf/hdfs-site.xml

java代码：
查看复制到剪贴板打印

    <configuration>      
       <property>   
             <name>dfs.replication</name>   
             <value>1</value>   
        </property>   
    </configuration>   


conf/mapred-site.xml

java代码：
查看复制到剪贴板打印

    <configuration>      
         <property>   
             <name>mapred.job.tracker</name>   
             <value>localhost:9001</value>   
        </property>   
    </configuration>   

启动 Hadoop
1.格式化文件系统
      hadoop namenode –format
2. 启动hadoop
     启动关闭所有服务 start-all.sh/stop-all.sh
     启动关闭HDFS: start-dfs.sh/stop-dfs.sh
     启动关闭MapReduce:  start-mapred.sh/stop-mapred.sh
3. 用jps命令查看进程,确保有   namenode,dataNode,JobTracker,TaskTracker
     
第三部分：Hadoop UI 介绍
Hadoop 重要的端口
1.Job Tracker 管理界面：50030
2.HDFS 管理界面 ：50070
3.HDFS通信端口：9000
4.MapReduce通信端口：9001
常用访问页面
1. HDFS 界面
        http://hostname:50070
2. MapReduce 管理界面
        http://hostname:50030

第四部分：运行Word Count 示例
相关步骤及命令
1.先在本地磁盘上建立两个文件file1和file2
      $ echo ”Hello world Bye world" > >~/input/file1
      $ echo ”hello hadoop bye hadoop” > >~/input/file2
2.在HDFS上建立一个input目录
       $ hadoop fs -mkdir /tmp/input
3.将file1和file2拷贝到hdfs的input目录下
       $ hadoop fs -put input/* /tmp/input
4.检查hdfs上有没有file1,file2
     $ hadoop fs -ls /tmp/input
5.执行wordcount
   hadoop jar hadoop-examples-1.0.0.jar wordcount  /tmp/input  /tmp/output
6.运行完成，查看结果
   hadoop fs -cat /output/part-r-00000


第五部分：集成 Eclipse 开发环境
通过 Eclipse 编写 Hadoop 程序
1.导入hadoop-core.jar及hadoop/lib下所有Jar包
2.加入Hadoop配置文件，包括conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml,并修改相应参数。
本节课程小结
掌握了在Windows ,Linux(ubuntu)上安装Hadoop 单节点伪分布式安装
初次体验了Hadoop运行的WordCounter程序
了解了Hadoop UI
掌握了Hadoop 集成到 Eclipse的情况
私塾在线学习网原创内容，转载请注明出处【 http://sishuok.com/forum/blogPost/list/0/5337.html】