主页

Elasticsearch 集群安装

1.下载解压1tar xvf elasticsearch-5.4.3.tar.gz 2.配置 /config/elasticsearch.yml123456789cluster.name: es-clusternode.name: es01path.data: /home/yangql/es/datapath.logs: /home/yangql/es/logsbootstrap.memory_lock: falsebootstrap.system_call_filter: falsenetwork.host: hadoop01http.port: 9200discovery.zen.ping.unicast.hosts: ["hadoop01", "hadoop02","hadoop03"] 查看集群http://192.168.1.231:9200/_cluster/stats?pretty

Hbase-phoenix安装

1.解压并配置将下载好的安装包上传到我们的主节点上12tar -xvf apache-phoenix-4.10.0-HBase-1.2-bin.tar.gzmv apache-phoenix-4.10.0-HBase-1.2-bin/ phoenix-4.10 1234#config phoenix4.10export PHOENIX_HOME=/home/yangql/app/phoenix-4.10export PHOENIX_CLASSPATH=$PHOENIX_HOMEexport PATH=$PATH:$PHOENIX_HOME/bin

Phoenix安装

1.解压并配置将下载好的安装包上传到我们的主节点上12tar -xvf apache-phoenix-4.10.0-HBase-1.2-bin.tar.gzmv apache-phoenix-4.10.0-HBase-1.2-bin/ phoenix-4.10 1234#config phoenix4.10export PHOENIX_HOME=/home/yangql/app/phoenix-4.10export PHOENIX_CLASSPATH=$PHOENIX_HOMEexport PATH=$PATH:$PHOENIX_HOME/bin

Hive函数总结

Hive提供了包括数学函数,类型转换函数,条件函数,字符函数,聚合函数,表生成函数等的内置函数。

Hive整合HBase

Hive和Hbase有各自不同的特征:hive是高延迟、结构化和面向分析的,hbase是低延迟、非结构化和面向编程的。Hive数据仓库在hadoop上是高延迟的。Hive集成Hbase就是为了使用hbase的一些特性。Hive继承HBase可以有效利用HBase数据库的存储特性,如行更新和列索引等。在集成的过程中注意维持HBase jar包的一致性。Hive集成HBase需要在Hive表和HBase表之间建立映射关系,也就是Hive表的列和列类型与HBase表的列族及列限定词建立关联。每一个在Hive表中的域都存在与HBase中,而在Hive表中不需要包含所有HBase中的列。HBase中的rowkey对应到Hive中为选择一个域使用 :key 来对应,列族(cf映射到Hive中的其他所有域,列为(cf:cq)。

python绘图

python matplotlib,numpy,生成随机数,绘制折线图,散点图,直方图,子图