几天前开始学习hadoop,从今天起,想把我学习hadoop全过程记录一下。我会记录在学习过程中碰到的问题、困难以及解决方法等等,如果你也是刚学hadoop,我们可以一起讨论。
学了几天,好像入门了,在这里和大家分享,就当全程笔记的第一篇吧。
新说明一下我的开发环境
操作系统:在windows下使用wubi安装了ubuntu 10.10
hadoop版本:hadoop-0.20
Hadoop 快速入门文档:http://hadoop.apache.org/common/docs/r0.18.2/cn/quickstart.html
上面这个地址是最新hadoop快速入门,基本上按照里面步骤能快速入门hadoop,但这篇文档是针对hadoop 0.18写的,有些地方还是和hadoop 0.20不同。在文档“伪分布式模式的操作方法”中有下面配置说明:
配置
使用如下的 conf/hadoop-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>localhost:9000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
在这里,你会发现在hadoop 0.20中并不存在conf/hadoop-site.xml文件,所以,如果你使用高版本的hadoop就要修改为下面的配置:
配置
使用如下的 conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
配置
使用如下的 conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置
使用如下的 conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
只要在这里注意一下,再按照“hadoop快速入门”文档就能对hadoop快速入们了。
分享到:
相关推荐
hadoop集群配置之————flume安装配置(详细版)
hadoop集群配置之———hive安装与配置(超详细)
Hadoop分布式文件系统翻译
Hadoop快速入门——第四章、zookeeper安装包
《Hadoop高级编程——构建与实现大数据解决方案》本书关注用于构建先进的、基于Hadoop的企业级应用的架构和方案,并为实现现实的解决方案提供深入的、代码级的讲解。本书还会带你领略数据设计以及数据设计如何影响...
Hadoop课程实验和报告——Hadoop安装实验报告
Hadoop学习过程中的记录笔记:如何在Eclipse下写第一个MapReduce程序
Hadoop高级编程——构建与实现大数据解决方案.rar
hadoop双机热备——facebook hadoop HA的资料整理,流汗整理
Hadoop入门常识, 包括Hadoop平台的搭建及环境变量的配置
Hadoop入门手册 简单入门Hadoop入门手册 简单入门Hadoop入门手册 简单入门Hadoop入门手册 简单入门
Hadoop学习资料总结,值得推荐阅读学习 很好 非常好 值得拥有
Hadoop2.7.1——NFS部署
Hadoop课程实验和报告——Apriori算法并行实现
Hadoop入门实战手册,Hadoop入门实战手册是搭建HADOOP的详细介绍手册。
自己整理的hadoop学习笔记,很详尽 很真实。linux操作终端下遇到的各种Hadoop常见问题 解决方案
Hadoop入门到精通(带目录)--很不错的HADOOP学习资料
hadoop的入门书籍,本人认为一共有以下五本书比较好: 1.云计算资料大全(了解云计算者必读).pdf 2.Hadoop开发者入门专刊 3.Hadoop权威指南%28第2版%29中文版 4.hadoop实战中文版+电子版pdf 5.精通HADOOP 由于上传...