安装配置
安装12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152yum -y updateyum -y install epel-releaseyum -y install erlang socaterl -versionerlang手动安装# centos内置erla
分类: bigdata
zookeeper安装配置
本地模式安装部署安装12Zookeeper官网下载tar –zxvf table 解压 配置 1.将zookeeper/conf/zoo_sample.conf修改为zoo.cfg1mv zoo_sample.conf zoo.cfg 2.vim zoo.cfg修改dataDir为你想要保存数据的路径（记得先在路径下创建该文件夹） 3.bin/zkServer.sh start启动 4.jps查看
zookeeper选举机制和节点类型
选举机制 ***重要概念 1.半数机制，集群中半数以上（一半就不能存活了）的机器存活，集群可用。（高可用）所以zookeeper适合安装奇数台服务器。 2.zookeeper虽然在配置文件中没有master和slave，但在工作时，是有一个节点为leader，其他则为follower。而leader则是通过内部选举临时产生。 3.如何选举出leader？如何选举leader（简单的选举机制）每个服
zookeeper基本操作
zookeeper操作命令基础命令1234567891011121314151.help查看命令2.ls /查看某个节点内容3.ls -s /查看某个节点详细数据4.create /sanguo + 内容创建短暂节点 临时节点 带序号的节点1.不带序号的临时节点create –e /sanguo/wuguo “zhouyu”ls /san
zookeeper简介
概述ZooKeeper服务器是用Java创建的，它在JVM上运行。你需要使用JDK 6或更高版本。zookeeper是开源的分布式的，为分布式应用提供协调服务的Apache项目。（管理整个大数据生态中的很多框架，hadoop，kafka，hbase，tire等） zookeeper的工作机制从设计模式角度理解，它是一个基于观察者模式设计的分布式服务管理框架。（23种设计模式）它负责存储和管理大家都
python实操
基础命令pip isntall kazoo服务器搭建zookeeper集群python实操zookeeper1python实操zookeeper2 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253import sysfrom kazoo.client i
hadoop介绍
hadoop三大版本 Apache Cloudera 公司常用 Hortonworks hadoop优势 高可靠：hadoop底层维护多个数据副本（很少数据丢失） 高扩展：在集群分配任务数据，可方便的扩展数以千计的节点 高效性：在mapreduce思想下，hadoop是并行工作的，以加快任务处理速度。 高容错性：自动将失败任务重新分配 hadoop 1.x构成 mapReduce计算+资
hadoop运行环境搭建
虚拟机环境准备 1.克隆虚拟机 2.修改虚拟机静态ip 3.修改主机名 4.关闭防火墙 5.创建root用户 6./opt下创建文件夹module和software 详细搭建过程 1.修改ip 12vim /etc/udev/rules.d/70-persistent-net.rulesvim /etc/sysconfig/n
hadoop运行模式
hadoop运行模式 本地模式 伪分布式模式 完全分布式模式阿里云定制2.7.2版本 本地模式https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 单机模式案例 1.案例一 1234567查找给定文件的正则匹配对象grepBy default, Hadoop i
hadoop完全分布式
前言1234567891.准备3台服务器2.安装JDK3.配置java环境变量4.安装hadoop5.配置hadoop环境变量6.配置集群7.单点启动8.配置ssh无密码访问9.群起并测试集群 集群分配脚本配置虚拟机/服务器配置ip,hosts,hostname12vim /etc/hostshostnamectl/hostname +name 编写集群分发脚本x