hadoop介绍
hadoop三大版本 Apache Cloudera 公司常用 Hortonworks hadoop优势 高可靠：hadoop底层维护多个数据副本（很少数据丢失） 高扩展：在集群分配任务数据，可方便的扩展数以千计的节点 高效性：在mapreduce思想下，hadoop是并行工作的，以加快任务处理速度。 高容错性：自动将失败任务重新分配 hadoop 1.x构成 mapReduce计算+资
分类: hadoop
hadoop运行环境搭建
虚拟机环境准备 1.克隆虚拟机 2.修改虚拟机静态ip 3.修改主机名 4.关闭防火墙 5.创建root用户 6./opt下创建文件夹module和software 详细搭建过程 1.修改ip 12vim /etc/udev/rules.d/70-persistent-net.rulesvim /etc/sysconfig/n
hadoop运行模式
hadoop运行模式 本地模式 伪分布式模式 完全分布式模式阿里云定制2.7.2版本 本地模式https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 单机模式案例 1.案例一 1234567查找给定文件的正则匹配对象grepBy default, Hadoop i
hadoop完全分布式
前言1234567891.准备3台服务器2.安装JDK3.配置java环境变量4.安装hadoop5.配置hadoop环境变量6.配置集群7.单点启动8.配置ssh无密码访问9.群起并测试集群 集群分配脚本配置虚拟机/服务器配置ip,hosts,hostname12vim /etc/hostshostnamectl/hostname +name 编写集群分发脚本x