教你如何查看API及使用hadoop新api编程.pdf
上传人:qw****27 上传时间:2024-09-12 格式:PDF 页数:15 大小:487KB 金币:15 举报 版权申诉
预览加载中,请您耐心等待几秒...

教你如何查看API及使用hadoop新api编程.pdf

教你如何查看API及使用hadoop新api编程.pdf

预览

免费试读已结束,剩余 5 页请下载文档后查看

15 金币

下载此文档

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

www.aboutyun.com教你如何查看API及使用hadoop新api编程:hadoop2.4新api与旧api调用例子对比说明问题导读:一直想写hadoop新旧api之间的关系,这对于爱好编程的程序猿来讲,是必备的。1.hadoop中mapred与mapreduce包,那个是被弃用的?2.hadoop旧api如何初始化job?3.hadoop新api使用那个函数来初始化job对象?程序说明:下面的mapreduce程序的功能只是计算文件booklist.log的行数,最后输出结果。分别调用旧包和新包的方法编写了两分带有main函数的java代码。a,新建了mapreduce工程后,先把hadoop的配置目录下的xml都拷贝到src目录下。b,在工程src同级目录旁建立conf目录,并放一个log4j.properties文件。c,src目录下建立bookCount目录,然后再添加后面的子java文件。d,右击"runasapplication"或选择hadoop插件菜单"runonhadoop"来触发执行MapReduce程序即可运行。www.aboutyun.com生成要分析的输入文件vinamelist.log添加以下内容即可:namenamenamenamenamenamenamenamenamenamenamename保存退出。执行的前请通过hdfs的copyFromLocal命令拷贝到hdfs的/user/hduser用户目录下。老API使用mapred包的代码www.aboutyun.com文件BookCount.java:packagebookCount;importjava.io.IOException;importjava.util.Iterator;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapred.FileInputFormat;importorg.apache.hadoop.mapred.FileOutputFormat;importorg.apache.hadoop.mapred.JobClient;importorg.apache.hadoop.mapred.JobConf;importorg.apache.hadoop.mapred.MapReduceBase;importorg.apache.hadoop.mapred.Mapper;importorg.apache.hadoop.mapred.OutputCollector;importorg.apache.hadoop.mapred.Reducer;importorg.apache.hadoop.mapred.Reporter;importorg.apache.log4j.Logger;www.aboutyun.comimportorg.apache.log4j.PropertyConfigurator;publicclassBookCount{publicstaticLoggerlogger=Logger.getLogger(BookCount.class);publicstaticvoidmain(String[]args)throwsIOException{PropertyConfigurator.configure("conf/log4j.properties");logger=Logger.getLogger(BookCount.class);logger.info("AnaSpeedMrstarting");System.setProperty("HADOOP_USER_NAME","hduser");JobConfconf=newJobConf(BookCount.class);conf.setJobName("bookCount_sample_job");FileInputFormat.setInputPaths(conf,newPath("booklist.log"));FileOutputFor