Forgot the Milk … 聆听窗外

Google的核心价值究竟是什么，普通用户可能无法知晓，但做为Architect就不能不深究其中的道理。在观看Cluster Computing and MapReduce Lecture视频之前，先引用郝培强和孟岩关于MapReduce的话。Cluster Computing很多人都知晓，这里不做简述。

MapReduce是Google开发的C++编程工具，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（化简）"，和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。—– 郝培强

面对复杂问题，古人教导我们要“分而治之”，英文中对应的词是”Divide and Conquer“。Map/Reduce其实就是Divide/Conquer的过程，通过把问题Divide，使这些Divide后的Map运算高度并行，再将Map后的结果Reduce（根据某一个Key），得到最终的结果 —— 孟岩

郝培强：在Google，MapReduce用在非常广泛的应用程序中，包括“分布grep，分布排序，web连接图反转，每台机器的词矢量，web访问日志分析，反向索引构建，文档聚类,机器学习，基于统计的机器翻译…”—– 郝培强

更多更好的介绍在郝培强对英文wiki上MapReduce的翻译文档，以及孟岩关于MapReduce的科普文章。虽然这些文章已经是一年前的了，但还是很值得一读。

2007年夏天，Google软件工程师坐在一起做了精彩的Cluster Computing and MapReduce讲演。以下是第四章，介绍MapReduce对K-Means和Canopy Clusting的实现。(youtube关于此章节的评论大都是对IT业中女性的火辣赞美，hot girl, cute girl，不绝于耳 :_)

以下是全部五个章节的讲演内容，点击图片链接可观看视频。

	Lecture 1 - Introduction 分布式系统简介，以及同步、网络等. Slides - Introduction to Distributed System Design
	Lecture 2 - MapReduce 介绍MapReduce编程模型. Slides - MapReduce
	Lecture 3 - Distributed File Systems 介绍Google File System的分布式文件系统. Slides - The Google File System
	Lecture 4 - Clustering Algorithms 介绍各种集群算法，以及MapReduce对K-Means和Canopy Clusting的实现。 Slides - Canopy Clustering
	Lecture 5 - Graph Algorithms 由Dijkstr做的分布式Pagerank展示. Slides - The Anatomy of a Search

terababy言：

1. 映射(Map)和规约(Reduce)是一种优秀的编程思想，从简单的程序算法到总体的代码框架，还有大型的分布式计算。规模不同，但传达的信息都是一样的，“分而治之，总而言之”。

2. plugin框架是映射的一种变异体，拿WordPress举例，它将blog平台的各个功能和扩展分化成各个钩子函数，由钩子函数完成映射功能，当所有钩子函数运行完毕，整个blog界面才会展现。

3. MapReduce必然要牵涉到分布式的可靠性，它的运行机制很像企业应用和网站应用中的cluster架构，坏点管理、并行冲突、session管理都是它们相似的地方。把握好这些，很容易理解MapReduce的运行机制。

4. 简单的是优美的。