首页 >> 信息化专栏 >> 厂商动态 >> 正文
高级搜索?
探秘Google数据中心内部运行
2008年6月2日 10:26  搜狐IT  

    6月2日国际报道Google揭开了内部工作方式的神秘面纱。Google这个搜索巨人很少暴露其数据中心,但在上周,Google研究员JeffDean在GoogleI/O会议上揭秘了它的部分运行情况。

    一方面,Google使用了一些常规服务器,另外一方面,Google将1800台服务器组成了集群,这些集群服务器负责Google日常的搜索处理任务,这部分服务器的数量大约是700到1000台。

    Google并未透露拥有多少台服务器,但我们估计的数量有成千上万。Dean透露,Google将40台服务器编为一个集群,而在全球范围,Google拥有36个数据中心。每个数据中心有150个服务器集群,这意味着Google拥有的服务器数量超过20万台,不过Google服务器的数量应该远远超过这一数字,而且每天都在增长。

    无论有多少台服务器,Google取得的成就都引人瞩目。像纽约证券交易所和航空公司订票系统都使用大量的主干机服务器与软件,而Google主要使用自己的技术。

    可以肯定,许多服务器厂商对此会感到酸溜溜的,但Google明显认为,将自己的技术命运掌握在自己手中最安全。Google搜索产品与用户体验部门副总裁MarissaMayer说,创始人LarryPage鼓励在公司中形成一种“健康的,对不可能说不”的气氛。

    为了应对Google这样的搜索规模,需要让每台机器的性能发挥到极致。虽然服务器厂商们对其高端机型中的容错性能津津乐道,但Google更乐意将钱投到容错软件上。

    Dean说:“我们的观点是,不可靠的硬件数量最好是可靠机型的两倍。你需要将可靠性放在软件层面。假如你运行1万台机器,那么每天都有一些死机。”

    Dean说,在每个服务器集群运行的头一年,一般有1千台机器会发生故障;数千块硬盘会出问题;一个“电源分配单元”(PDU)将坏掉,令500到1000台机器当机6小时;20个服务器机架将出现故障,造成40到80台机器从网络上掉线;5个服务器机架将变得不稳定,这使得机架上的服务器处理的一半信息包失去响应;一个服务器集群需要重新连接,这将影响5%的机器,影响的时间跨度一般为2天。服务器集群有50%的过热可能性,过热会让绝大多数服务器在5分钟内当机,并且耗时1到2天来重新恢复。

    虽然Google使用了一般的硬件设备,但在软件上却没有使用寻常的软件。Google要求英特尔提供专门定制的电路板。Dean还透露,Google目前为每40个服务器组成的机架配备一个机箱,而不是象一般情况那样为每个服务器配备一个机箱。

    对于服务器本身,Google喜欢多核芯片配置。尽管许多软件公司正在努力适应多核芯片时代的来临,但Google对这种芯片使用起来得心应手。Google不得不让自己的技术适应有限的硬件资源架构,因此,他们已经进入了并行处理时代。

    Dean说:“我们确实喜欢多核机器。对我们来说,多核机器用少量的机器实现了良好的连接性能。对我们而言,它们更容易使用。”

    尽管Google需要对搜索以及其它服务进行快速响应,并行处理能够完成这一任务需要,虽然有可能单个线程的速度并不快。

    Dean说:“单个线程的性能对我们来说确实没有多大关系。我们将重点主要放在并行处理问题上。”

    Google如何让这些普通的硬件发挥作用?用软件。

    Dean阐述了Google软件的三大核心元素:Google文件系统(GFS);Google大表(BigTable:是Google一种对于半结构化数据进行分布存储与访问的接口或服务);MapReduce算法(它是Google开发的C++编程工具,用于大于1TB数据的大规模数据集并行运算)。尽管Google依靠许多开源项目实现了企业的腾飞,但Google对这三套核心元素秘而不宣。

编 辑:张磊
[1]  [2]  [3]  
关键字搜索:服务器  Google  数据中心  
相关新闻   本类文章   最近更新   一周热点  
文章评论  评论()
昵称:  验证码:
 
 
请您注意:
·遵守中华人民共和国的各项有关法律法规
·承担一切因您的行为而导致的法律责任
·本站管理人员有权删除所有无关或非法留言内容
·您在本站内的留言,本站有权在网站内转载或引用
·参与本留言即表明您已经阅读并接受以上条款
 
专家观点
2008年5月24日工业和信息化部国家发展和改革委员会财政部三部..
精彩专题
电信重组拉开大幕
灾区感受移动风采
2008世界通信大会
新媒体高峰论坛
CCTIME评论