首页 > 代码库 > eclipse使用hadoop插件出现java.lang.OutOfMemoryError: Java heap space

eclipse使用hadoop插件出现java.lang.OutOfMemoryError: Java heap space

14/09/20 22:41:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
14/09/20 22:41:13 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
14/09/20 22:41:13 INFO input.FileInputFormat: Total input paths to process : 2
14/09/20 22:41:14 WARN snappy.LoadSnappy: Snappy native library not loaded
14/09/20 22:41:14 INFO mapred.JobClient: Running job: job_local911496586_0001
14/09/20 22:41:14 INFO mapred.LocalJobRunner: Waiting for map tasks
14/09/20 22:41:14 INFO mapred.LocalJobRunner: Starting task: attempt_local911496586_0001_m_000000_0
14/09/20 22:41:14 INFO mapred.Task:  Using ResourceCalculatorPlugin : null
14/09/20 22:41:14 INFO mapred.MapTask: Processing split: hdfs://192.168.1.112:9000/txt/yw/mic.php:0+338124
14/09/20 22:41:14 INFO mapred.MapTask: io.sort.mb = 100
14/09/20 22:41:14 INFO mapred.LocalJobRunner: Starting task: attempt_local911496586_0001_m_000001_0
14/09/20 22:41:14 INFO mapred.Task:  Using ResourceCalculatorPlugin : null
14/09/20 22:41:14 INFO mapred.MapTask: Processing split: hdfs://192.168.1.112:9000/txt/yw/pip.txt:0+96393
14/09/20 22:41:14 INFO mapred.MapTask: io.sort.mb = 100
14/09/20 22:41:14 INFO mapred.LocalJobRunner: Map task executor complete.
14/09/20 22:41:14 WARN mapred.LocalJobRunner: job_local911496586_0001
java.lang.Exception: java.lang.OutOfMemoryError: Java heap space
	at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:354)
Caused by: java.lang.OutOfMemoryError: Java heap space
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:954)
	at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:673)
	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:756)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:364)
	at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:223)
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
	at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
	at java.util.concurrent.FutureTask.run(FutureTask.java:138)
	at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
	at java.lang.Thread.run(Thread.java:619)
14/09/20 22:41:15 INFO mapred.JobClient:  map 0% reduce 0%
14/09/20 22:41:15 INFO mapred.JobClient: Job complete: job_local911496586_0001
14/09/20 22:41:15 INFO mapred.JobClient: Counters: 0

解决:

wKioL1QdkrCxHMpHAANv0soBJb0842.jpg

本文出自 “梦朝思夕” 博客,请务必保留此出处http://qiangmzsx.blog.51cto.com/2052549/1556392

eclipse使用hadoop插件出现java.lang.OutOfMemoryError: Java heap space