提到大数据我们第一个想到的就是Hadoop这个开源项目，而这个项目的创始人就是道格切斯特。

名校毕业

道格切斯特刚上大学的时候，并没有打算从事计算机行业，那时候的他对地理和物理等课程非常感兴趣，而对于计算机等课程却没有什么兴趣。他的转变发生在他大三的时候。那时候他的大部分同学都已经找到了实习工作，而他却还不知道自己应该做什么。后来看到很多人去了硅谷工作，于是他也决定自己也要去硅谷工作，于是他毅然决定地投身到了IT行业。那时候可能他自己都不知道，他的这个决定将对软件行业产生怎样的巨大影响。为了早日还清贷款，他学习的异常刻苦，就这样大学的后两年他奋激勃发，带着优异的成绩从斯坦福大学毕业。

高级实习生

道格切斯特的第一份工作是在施乐做实习生，他的主要工作就是给当时的激光扫描仪开发屏幕保护程序。由于这套程序是基于系统底层开发的，所以 其他同事可以给这个程序添加不同的主题。这份工作给了他一定的满足感，也是他最早的“平台”级的作品。

在施乐做实习生的4年是他成长最快的4年。在那里他有大量的时间研究搜索技术，他4年里面一直都在做研发，他阅读了大量的论文，自己也写了大量的论文，可以说在施乐公司，他把研究生读了一次。

尽管在施乐积累了大量的理论经验，但他却认为，这些研究只是纸上谈兵，没有人试验过这些理论的可实践性。于是，他决定勇敢地迈出这一步，让搜索技术可以为更多人所用。1997年底，切斯特开始以每周两天的时间投入，在家里试着用Java把这个想法变成现实，不久之后，Lucene诞生了。作为第一个提供全文文本搜索的开源函数库，Lucene的伟大自不必多言。知道今天很多公司还是基于这个系统开发的检索系统。

Hadoop的诞生

在 Lucene的基础上切斯特又开发了一款可以代替当时的主流搜索产品的开源搜索引擎，这个项目被命名为Nutch。加上谷歌介绍了两款为支持自家的搜索引擎而开发的软件平台。这两个平台一个是GFS（Google File System），用于存储不同设备所产生的海量数据；另一个是MapReduce，它运行在GFS之上，负责分布式大规模数据。基于这两个平台，切斯特最引人瞩目的作品——Hadoop诞生了。说起谷歌，切斯特还和他们的成长有一段一段鲜为人知的故事。早在切斯特在Architext工作期间，有两个年轻人曾去拜访这家公司，并向他们兜售自己的搜索技术，但当时他们的例子只检索出几百万条网页，Architext的工程师们觉得他们的技术太小儿科，于是就在心里鄙视一番，把他们给送走了。但故事并未到此结束，这两个年轻人回去之后痛定思痛，决定自己创业。于是，他们开了一家自己的搜索公司，取名为谷歌。这两个年轻人就是Larry Page和Sergey Brin。而若干年后，谷歌公司早已经不是Architext所能相比的了。

雅虎的成长

2006年切斯特加入了雅虎，从加入雅虎那一刻，Hadoop就开始了飞速成长。在雅虎，有一支百人团队一起来完善Hadoop这个项目，并且雅虎搜索业务的架构也迁移到了Hadoop项目上了。可以说，正是有了雅虎的帮助，才使得Hadoop这个项目成长地如此之快。

虽然 Hadoop的表现惊艳，但在当时并非所有公司都有条件使用，与此同时，用户需求却在日益增加。有些大公司（如银行、电信公司、大型零售商等）只关注于产品，却不想在技术工程和咨询服务上过多投入，它们需要一个可以帮助其解决问题的平台，这就是切斯特后来就跳槽到Cloudera。从某种程度上说，Cloudera就是这么一个为那些在咨询和技术上有需求的公司提供服务的平台。它的客户大多来自于传统行业，希望通过Hadoop来处理之前只能被直接抛弃的大规模数据。现在，除了这些传统行业之外，Yahoo!、Facebook、eBay、LinkedIn等公司都在使用Hadoop，用切斯特的话说，他们的团队被“无形之中扩大了”。

Hadoop的未来

目前，切斯特的目标是把Hadoop发展成云计算领域的旗舰项目。 “我从来没有想过，除了搜索引擎，Hadoop的作用还能在其他方面有所发挥，它今天所受到的关注程度，已超过了我之前的所有想象”。谈到成功，切斯特认为他的成功主要归功于两点，一是对自己工作的热情；二是目标不要定得过大，要踏踏实实，一步一个脚印。