english

Video: Cluster Computing and MapReduce Lecture

Google的核心价值究竟是什么,普通用户可能无法知晓,但做为Architect就不能不深究其中的道理。在观看Cluster Computing and MapReduce Lecture视频之前,先引用郝培强和孟岩关于MapReduce的话。Cluster Computing很多人都知晓,这里不做简述。

MapReduce是Google开发的C++编程工具,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(化简)",和他们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。—– 郝培强

面对复杂问题,古人教导我们要“之”,英文中对应的词是”Divide and Conquer“。Map/Reduce其实就是Divide/Conquer的过程,通过把问题Divide,使这些Divide后的Map运算高度并行,再将Map后的结果Reduce(根据某一个Key),得到最终的结果 —— 孟岩

郝培强:在Google,MapReduce用在非常广泛的应用程序中,包括“分布grep,分布排序,web连接图反转,每台机器的词矢量,web访问日志分析,反向索引构建,文档聚类,机器学习,基于统计的机器翻译…”—– 郝培强

更多更好的介绍在郝培强对英文wiki上MapReduce的翻译文档,以及孟岩关于MapReduce的科普文章。虽然这些文章已经是一年前的了,但还是很值得一读。

2007年夏天,Google软件工程师坐在一起做了精彩的Cluster Computing and MapReduce讲演。以下是第四章,介绍MapReduce对K-Means和Canopy Clusting的实现。(youtube关于此章节的评论大都是对IT业中女性的火辣赞美,hot girl, cute girl,不绝于耳 :_)

以下是全部五个章节的讲演内容,点击图片链接可观看视频。

Read the rest of this entry »


分享: Fanfou Misterwong-CN QQ Bookmark Baidu Bookmark del.icio.us Digg Google

评论 (1)

当前第1页 共13页12345»...最后一页 »