`
dengyll
  • 浏览: 90468 次
社区版块
存档分类
最新评论

【分享】Bigtable架构图

阅读更多

最近在研究Bigtable的实现原理,网上搜索了一把,几乎全是Google的那篇论文,由于涉及的点众多,看起来比较吃力,也没有一个宏观的架构用于理解,
因此,自己画了一个,分享给大家,欢迎各位批评指正,共同完善

HBase可以认为是山寨版的Bigtable,因此其架构也是类似的,只是各个部件换了名字,对应关系如下:
Chubby ===> Zookeeper
Master  ===> Master
GFS     ===> HDFS
Tablet Server ===> HRegion Server
SSTable ===> HFile
Tablet Log ===> HLog

详细架构图如下,对照此图再去读论文,应该更加容易理解:



附:
英文论文地址:http://research.google.com/archive/bigtable.html
中文论文地址:http://www.dbthink.com/?p=493 

分享到:
评论

相关推荐

    Google's BigTable 原理 (中文)

    题记:google 的成功除了一个个出色的创意外,还因为有 Jeff Dean 这样的软件架构天才。 ------ 编者 官方的 Google Reader blog 中有对BigTable 的解释。这是Google 内部开发的一个用来处理大数据量的系统。这种...

    谷歌云计算架构详解.docx

    主要包括外部网络系统介绍、内部网络架构介绍、大规模IDC部署战略、自己设计的服务器机架架构、操作系统与云计算文件系统GFS/GFSII、并行计算架构–Mapreduce、并行计算数据库BigTable等内容,可供学习使用。

    Bigtable:一个分布式的结构化数据存储系统

    Bigtable是一个分布式的结构化数据存储系统,它被设计用来处理海量数据:通常是分布在数千台普通服务器上的PB级的数据。Google的很多项目使用Bigtable存储数据,包括Web索引、GoogleEarth、GoogleFinance。这些应用...

    hbase安装与hbase架构说明

    HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用HadoopMapReduce来...

    大数据平台架构及主流技术栈

    互联网和移动互联网技术开启了大规模生产、分享和应用数据的大数据时代。面对如此庞大规模的数据,如何存储?如何计算?...上图是目前国内各大互联网公司普遍采用的大数据平台架构和技术选型。康威定律

    beauty of architecture

    MIT企业架构核心图 延伸阅读企业架构入门系列十五篇 ` 项目管理体系(PMBOK)与TOGAF的比较 1.3 架构设计思想 组织管理的技术—系统工程 系统、架构、企业,关于跨领域研究 自然界物质的系统性 ArchitectedERP-...

    大数据常用数据库汇总.pdf

    ⼤数据常⽤数据库汇总 通常数据库分为关系型数据库和⾮关系型数据库,关系型数据库的优势到现在也... 4、图数据库:Neo4J、InfoGrid、OrientDB、GraphDB,下⾯简单介绍⼏个 (1)Neo4j:Neo4j是⼀个图数据库;⽀持ACID

    这就是搜索引擎

    • 网络爬虫的基本架构是什么?常见的爬取策略是什么?什么是暗网爬取?如何构建 分布式爬虫?百度的阿拉丁计划是什么? • 什么是倒排索引?如何对倒排索引进行数据压缩? . 搜索引擎如何对搜索结果排序? • 什么...

    大数据云计算技术系列 NoSQL数据库学习教程(共71页).pdf

    4 Google之BigTable 4 Yahoo之PNUTS 4 特点 4 PNUTS实现 4 Record-level mastering 记录级别主节点 4 PNUTS的结构 4 Tablets寻址与切分 4 Write调用示意图 4 PNUTS感悟 4 微软之SQL数据服务 4 非云服务竞争者 4 文档...

    Spark产生的背景

    hadoop是Apache软件基金会旗下的一个开源式计算平台为用户提供了系统底层细节透明的分布式基础架构 Hadoop是java编写的开源、可伸缩和容错的框架,并且可部署在廉价的计算机集群中 hadoop以分布式文件系统HDFS和...

    大数据发展历史.pdf

    这期间⼤数据研究的焦点是性能,云计 算,⼤规模的数据集并⾏运算算法,以及开源分布式架构(Hadoop) 应⽤阶段: 2009年⾄今,⼤数据基础技术成熟之后,学术界及及企业界纷纷开始转向应⽤研究,2013年⼤数据技术开始...

    大数据基础知识入门.pdf

    Hadoop的起源 总结起来,Hadoop起源于Google的三大论文 GFS—->HDFS Google MapReduce—->Hadoop MapReduce BigTable—->HBase Hadoop技术介绍 Hadoop的架构 Cloudera Manger Ambari 和 Cloudera Manger都是基于Web...

Global site tag (gtag.js) - Google Analytics