归档: 2017/1

Linux下MySQL安装

1.MySQL相关介绍MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,目前属于Oracle公司。MySQL是一种关联数据库管理系统,关联数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。MySQL的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了双授权政策,它分为社区版和商业版,由于其体积小、速度快、总体拥有成本低,尤其是开放源码这一特点,一般中小型网站的开发都选择MySQL作为网站数据库。在Linux上安装mysql数据库,我们可以去其官网上下载mysql数据库的rpm包,http://dev.mysql.com/downloads/mysql/5.6.html#downloads。

Linux下mysql-5.7.9-linux-glibc2.5-x86_64.tar.gz安装

1.从官网下载 mysql-5.7.9-linux-glibc2.5-x86_64.tar.gz12官网: http://dev.mysql.com/downloads/mysql/wget -c http://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.9-linux-glibc2.5-x86_64.tar.gz 2.创建mysql的用户组/用户, data目录及其用户目录123# groupadd mysql# useradd -g mysql -d /home/mysql mysql# mkdir /home/mysql/data

Sqoop安装

Sqoop是SQL to Hadoop的缩写,主要作用在于在结构的数据存储(关系型数据库)与Hadoop之间进行数据双向交换。也就是说,Sqoop可以将关系数据库(如MySQL,Oracel等)的数据导入Hadoop的HDFS、Hive中,也可以将HDFS、Hive的数据导出到关系数据库中。Sqoop充分利用了Hadoop的优点,整个导入都是由MapReduce计算框架实现并行化,非常高效。

Hadoop学习笔记-基础知识-20170118

1.Hadoop历史Hadoop最早起源于Nutch,,Nutch是一个开源的搜索引擎,由Doug Cutting在2002年的时候开发完成,原本Nutch的目标是为了构建一个大型的搜索引擎,涵盖网页爬取、索引、查询等一些功能,但随着网页爬取的数量不断增加,此时对于存储和索引就形成了比较严重的瓶颈问题。此时,Google发表了三篇论文:GFS,MapReduce,BigTable,这三篇论文堪称大数据领域的开篇巨作,也由此拉开了至今为止都非常火热的大数据应用。

Hadoop2.5.1完全分布式集群部署

1 部署所需软件 操作系统:rhel-server-5.4-x86_64-dvd.iso JDK:jdk-7u79-linux-x64.tar.gz Hadoop:hadoop-2.5.1.tar.gz 远程连接工具:Xmanager Enterprise 虚拟机:vmware 开发工具:eclipse

Linux添加SFTP公钥步骤

1.首先需要在目录(/home/yangql)创建.ssh文件夹 1[yangql@hadoop01 ~]$ mkdir .ssh 2.在客户端生成公钥和私钥12[yangql@hadoop01 ~]$ cd .ssh[yangql@hadoop01 .ssh]$ ssh-keygen -t rsa 执行创建密钥对命令(一路回车),直至完成公钥与私钥生成。