简单的说就是问题可以划分成若干单元，每个单元的计算互不相关，单元计算结果可以在可以承受的时间内合成为总结果的计算。再说直白一点：所有分治模型都可交由hadoop解决。可以说spark是功能更全面的hadoop，支持一些诸如filter、group之类的操作，但是原本思想仍是map reduce，差别不太大。

map reduce确切的说是两步操作：map操作和reduce操作。具体执行的时候其实是语言无关的，只要你能按照其标准输入输出，哪怕用brainfu*k写的代码，能独立运行都可以。当然hadoop在java上有框架接口，spark直接构建在scala上会更加方便开发，但是实际上完全可以用任意语言做map reduce。

举个几乎每个教程都会谈到的例子：单词出现次数统计。如果只有很少的文本，这个统计基本上就是划分单词，统计次数而已，单机上写个循环就能解决。但是如果文本量超TB甚至更多，单机的效率自然吃不消。但是我们可以把这超长文本划分为若干段，每一段就MB量级，分配给一个计算节点，那么每段对于一个分布式计算节点而言计算量就可以接受了。

mapper部分是一个结算节点用的处理程序，用标准输入输出流接收数据和输出处理结果。对于单词统计，它输入的内容自然是一段文章，输出的内容则是这段文章中的单词统计结果。显然节点之间所做的工作仅与送给此节点的数据有关，而与其它节点的数据或结果无关。例如对于文字 “I love hadoop”，这个mapper可以给出如下输出：
I 1
love 1
hadoop 1

reducer则是负责收集数据的。它通过标准流输入输出，输入格式等同于mapper的输出格式。hadoop会把所有mapper的结果简单拼接一下然后全扔给reducer（根据配置不同，可能拼接时会有排序）。
reducer所做的工作则是将这些内容合成出最终结果。

比如两段文本“I love hadoop”，以及“I love you”，分配给mapper处理，会得到两个输出
1
-------
I 1
love 1
hadoop 1

2
-------
I 1
love 1
you 1

然后reducer拿到的输出则是拼在一起的结果
I 1
love 1
hadoop 1
I 1
love 1
you 1

reducer进行处理合并，最终结果大概是
I 2
love 2
hadoop 1
you 1

而hadoop或者spark框架的存在，使得你可以写好mapper和reducer，然后告诉框架你的数据在哪儿，怎么划分之类的配置，框架自动将需要的工作分配给实际上的计算节点，自动连接的mapper和reducer的输入输出，然后得到计算结果。其中你并不需要考虑多机通讯、状态监测之类的问题，只需要写好与本地单机运算没什么差别的简单程序就好。

因此对统计、学习、数学运算（迭代），求最优解之类的问题，都可以适用于map reduce。

作者：何史提
链接：https://www.zhihu.com/question/29936822/answer/48553511
来源：知乎
著作权归作者所有，转载请联系作者获得授权。