第一次搭建Hadoop环境,可谓是千难万难。
难点1:自己完全是linux的菜鸟
难点2:个人有毛病,讨厌虚拟机,又没空间装双系统,又没钱买完全linux系统的电脑
难点3:windows用多了,看其他系统都很膈应,想想帅克那句话,强迫自己学习linux,强迫用
在学习之前,一定要弄明白为什么要这么做,这是要懂得求知,好吧我承认我是因为什么都不懂所以问出了这么个idiot的问题:为啥非要在linux下跑hadoop,我用windows不行吗,我感觉windows挺方便的
答:“废话,windows在那里鼠标点啊点,想点哪里点哪里当然方便啦,小白都会用,然而linux用起来一看那个控制台terminal就很高大上啊,就专业啊,好吧,我知道这不是根本原因我们来查下,hadoop是什么,然后我们为什么要学,和为什么要装在linux下,ok没就这几点,没搞懂真没动力学
复制粘贴一点:
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。
===============================================================================
【自己总结】:大概记住两个,HDFS and MapReduce 其实真的在并行计算课学过,但是当时忘了在干嘛了,囧~~~~
然后又记住一个:大数据:big data 大数据处理需要用到HDFS.分布式文件系统
优点:高可靠性、高可拓展性、高容错性和高效性。反正4高大家记住,后面用的时候我们再来理解它为什么这么高
其他的没看懂。然后在用的企业有:yahoo,百度,中国研究院,淘宝
如果硬要我从这几个数据中挖掘出有效信息,那就是学会了hadoop去这几家公司你不会没饭吃
============================================================================
【为什么要装在linux系统上】:
个人看了一遍,大概原因是hadoop脚本语言是由linux下写的,如果想要win用的爽,那就要改成win的脚本语言,windows没有Linux稳定,若要做服务器,Linux/Unix系统当然是首选了。然后hadoop依赖的是ssh,如果在win上使用ssh需要安装软件。
这里有两个问题
1:服务器稳定,这个咱不懂,自行百度
2.ssh是什么鬼,鉴于ssh在之后都要用到,这个必须查一下
安全外壳协议(SSH)是一种在不安全网络上提供安全远程登录及其它安全网络服务的协议。Secure Shell,又可记为S S H。
其实具体跟hadoop什么关系,哥看了好多文章也没看懂,待我补了以后再来告诉大家,说了那么多正式进入搭建环节
====================================================================================
【hadoop环境搭建】:
这里有一位前人写的攻略:我搭的时候很顺利,大家参照一步步来
http://www.powerxing.com/install-hadoop/
提前安好Ubuntu and Linux内核
想要下载的,http://pan.baidu.com/s/1o8ks7ou 提取码:frej
里面有你需要的所有,可能虚拟机版本有点低,要求高的可以找高点的
因为是linux操作菜鸟,好多操作都是问别人的,基本全部操作按上面教程没有问题
有关键几点告诉大家
1.linux一个一个输很麻烦,想省事的复制粘贴 是ctrl+shift+c ctrl+shift+v
2.教程有一个没说明白,进入bashrc后 想要保存文件,先按esc 再在末尾输入:wq
意思是保存且退出到shell
我因为这一个操作墨迹了两个小时,大家吸取我的教训吧,坑爹的是网上所有教程都没有说清楚
===========================================================================
弄好java配置环境变量后,就可以尝试写一个java文件了。
【建一个文档】Test 记得文件名一定要和类名相同,不要问为什么,这是规定!!!
最好建在外面,因为如果不是绝对目录下,你还得写一大串地址,而且新建一个文件夹有权限问题,当你这个菜鸟不懂得时候对文档不能写不能改不能保存不能删除重命名你是崩溃的,刚开始学习,暴力一点
public class Test {
public static void main(String args[]) {
System.out.println("A new jdk test !");
}
}
然后在shell里面输入一下:(不要问shell是什么ctrl+alt+t 终端控制台,相当于windows的cmd)
这里就已经成功了,输出
接下来的hadoop配置,最后变成这样即可:
下一节课,请你们跟我这个小白一起学习Hadoop单机配置
跟着小白学习的好处是,能够领悟到:“原来还有比我更傻的人”
能够体会到你们身为菜鸟遇到的各种匪夷所思的白痴问题
hahahaha
show me your bug and be stupid
相关推荐
centos7安装和基础环境配置:Hadoop分布式搭建前期准备工作.docx
涉及到了Hadoop2.0、Hbase、Sqoop、Flume、Hive、Zookeeper的具体环境搭建
史上最详细的Hadoop环境搭建,CentOS+Hadoop等详解 第一部分:Linux环境安装 第二部分:Hadoop本地模式安装 第三部分:Hadoop伪分布式模式安装 第四部分:完全分布式安装 第五部分:Hadoop HA安装
hadoop集群环境的搭建
配置Hadoop环境变量:设置Hadoop的相关环境变量,以便系统能够找到Hadoop的配置文件和二进制文件。 配置Hadoop集群:根据实际需求,配置Hadoop集群的节点、网络拓扑结构等参数。 启动Hadoop集群:启动Hadoop集群的...
详实的记录了搭建Hadoop云计算环境的过程,希望能帮助他人快速搭建Hadoop云计算环境,目录如下: 1引言 1 1.1 编写目的 1 2搭建过程 1 2.1 所需软件 1 2.2 VMware Workstation安装 1 2.3 Ubuntu安装 2 2.4 VMware ...
详细的hadoop2 伪分布式环境搭建以及eclipse部署。demo示例代码测试运行。文中有插件包。资源包等参考链接参考下载。
Hadoop环境搭建Hadoop环境搭建 Hadoop环境搭建
hadoop的环境搭建手册 分布式计算开源框架Hadoop介绍
hadoop的环境搭建过程.方便第一次使用hadoop的同学.快速搭建环境
基于Centos7下的hadoop2.7集群的搭建。(在vmware中的2台虚拟机。)
Hadoop完全分布式环境搭建Hadoop完全分布式环境搭建Hadoop完全分布式环境搭建
hadoop是一个集群服务,有一个master和两个slave,本文档经实验证明可以成功操作
Hadoop完全分布式环境搭建文档,绝对原创,并且本人亲自验证并使用,图文并茂详细介绍了hadoop完全分布式环境搭建所有步骤,条例格式清楚,不能成功的,请给我留言!将给与在线支持!
Hadoop环境搭建.pdf Hadoop环境搭建.pdf Hadoop环境搭建.pdf
Hadoop 开发环境搭建第一篇: 1、是用Virtual Box 系统使用的是Redhat ,linux不熟的朋友们可以顺便学习一下linux, 2、环境配置包括防火墙关闭,IP分配,更改域名等 3、服务软件:远程服务SSH等安装
在Windows上使用Cygwin作为类Unix支撑环境来安装Hadoop, 网上介绍的还是比较多的。...其实,Hadoop环境搭建的主要内容是Cygwin的安装,估计要占总时间的2/3, 其它工作我会手把手的教你,come on,follow me!
Hadoop集群环境搭建
较为完善的Hadoop伪分布式安装、配置过程以及运行截图 全程跟着安装配置的一般不会出现问题,jdk版本尽量选择和Hadoop版本相容的,Hadoop版本可以选择较低版本,2.7版本较为稳定,Linux系统版本没有多大要求,一般将...