分类:: 大数据技术

Hadoop2.5.1完全分布式集群部署

1 部署所需软件 操作系统:rhel-server-5.4-x86_64-dvd.iso JDK:jdk-7u79-linux-x64.tar.gz Hadoop:hadoop-2.5.1.tar.gz 远程连接工具:Xmanager Enterprise 虚拟机:vmware 开发工具:eclipse

Linux添加SFTP公钥步骤

1.首先需要在目录(/home/yangql)创建.ssh文件夹 1[yangql@hadoop01 ~]$ mkdir .ssh 2.在客户端生成公钥和私钥12[yangql@hadoop01 ~]$ cd .ssh[yangql@hadoop01 .ssh]$ ssh-keygen -t rsa 执行创建密钥对命令(一路回车),直至完成公钥与私钥生成。

Hadoop2-hdfs-垃圾箱简介

hdfs为每一个用户创建一个回收站:目录: /user/用户名/.Trash/ 每一个被用户通过shell删除的文件/目录在系统回收站中都有一个周期,周期过后hdfs会自动将这些数据彻底删除周期内 可以被用户恢复。

Hadoop-windows下搭建hadoop,Hive,HBase

1.搭建Hadoop 安装JDK1.8并设置环境变量 JAVA_HOME。 下载hadoop2.7.2 ,解压到D盘,路径为D:\winbigdata\hadoop2.7.2(注:如何不是根目录,不要带空格) 添加环境变量HADOOP_HOME=D:\winbigdata\hadoop2.7.2\ ,将D:\winbigdata\hadoop2.7.2\bin和D:\winbigdata\hadoop2.7.2\sbin添加到path中。 下载hadooponwindows,下载地址https://github.com/sardetushar/hadooponwindows 删除hadoop下的etc和bin。将hadooponwindows里的etc和bin拷贝到D:\winbigdata\hadoop2.7.2\下。 修改etc/hadoop/core-site.xml