Google Megastore初探

BucketLI — Mon, 14 Feb 2011 04:44:00 GMT

��d��q�底,团队内部成员分��n了这��?/span>google论文,初读了下,发现其有蛮多有意思的东西,��想把他��译下来,但是��译了一��部�?/span>,明显感觉如果�q�样的翻译发出去,很可能误人子�?/span>,所以改成了概要式的博文,�q�篇文章会将原论文最核心的几个部分做不完全的��译和个人理�?/span>,如有不解或者错误的地方,��h��看原论文,�q�希望能够指�?谢谢.

正文

Megastore是谷歌一个内部的存储�pȝ��,它的底层数据存储依赖Bigtable,也就是基�?/span>NoSql实现�?/span>,但是和传�l�的NoSql不同的是,它实��C��c�M��RDBMS的数据模�?/span>(便捷�?/span>),同时提供数据的强一致性解��x��?/span>(同一�?/span>datacenter,��Z��MVCC的事务实�?/span>),�q�且��数据进行细颗粒度的分区(�q�里的分区是指在同一�?/span>datacenter,所�?/span>datacenter都有相同的分区数�?/span>),然后��数据更新在机房间进行同步复�?/span>(�q�个保证所�?/span>datacenter中的数据一�?/span>).

...

中文��译地址: http://wenku.baidu.com/view/a465cc260722192e4536f671.html#

原文地址: http://wenku.baidu.com/view/2ddeb1afdd3383c4bb4cd2bb.html

BucketLI 2011-02-14 12:44 发表评论

BucketLI — Tue, 21 Dec 2010 10:58:00 GMT

zookeeper介绍
zookeeper是一个�ؓ分布式应用提供一致性服务的软�g�Q�它是开源的Hadoop��目中的一个子��目�Q��ƈ且根�?/span>google发表�?/span>论文来实现的�Q�接下来我们首先来安装��用下�q�个软�g�Q�然后再来探索下其中比较重要一致性算法�?/span>

zookeeper安装和��?br /> zookeeper的安装基本上可以按照 http://hadoop.apache.org/zookeeper/docs/current/ zookeeperStarted.html �q�个��面上的步骤完成安装�Q�这里主要介�l�下部��v一个集��的步骤�Q�因��个官斚w��面似乎讲得�ƈ不是非常详细(Running Replicated Zookeeper)�?br />
�׃��手头机器不��Q�所以在一台机器上部��v�?/span>3�?/span>server,如果你手头也比较紧，也可以这么做。那么我��Z��3个文件夹�Q�如�?br /> server1   server2   server3

然后每个文�g多w��面解压一�?/span>zookeeper的下载包�Q��ƈ且还��Z��几个文�g夹，��M��l�构如下,最后那个是下蝲�q�来压羃包的解压文�g
data dataLog logs zookeeper-3.3.2

那么首先�q�入data目录�Q�创��Z��?/span>myid的文�Ӟ��里面写入一个数字，比如我这个是server1,那么��写一�?/span>1�Q?/span>server2对应myid文�g��写�?/span>2�Q?/span>server3对应myid文�g��?span style="font-family: 宋体">写个3

然后�q�入zookeeper-3.3.2/conf目录�Q�那么如果是刚下�q�来�Q�会�?/span>3个文�Ӟ��configuration.xml, log4j.properties,zoo_sample.cfg,�q?/span>3个文件我们首先要做的��是在这个目录创��Z��?/span>zoo.cfg的配�|�文�Ӟ��当然你可以把zoo_sample.cfg文�g�Ҏ��zoo.cfg�Q�配�|�的内容如下所�C�：
tickTime=2000
initLimit=5
syncLimit=2
dataDir=xxxx/zookeeper/server1/data
dataLogDir=xxx/zookeeper/server1/dataLog
clientPort=2181
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890

标红的几个配�|�应该官�|�讲得很清楚了，只是需要注意的�?/span>clientPort�q�个端口如果你是�?/span>1台机器上部��v多个server,那么每台机器都要不同�?/span>clientPort�Q�比如我server1�?/span>2181,server2�?/span>2182�Q?/span>server3�?/span>2183�Q?/span>dataDir�?/span>dataLogDir也需要区分下�?/span>

最后几行唯一需要注意的地方��是 server.X �q�个数字��是对应 data/myid中的数字。你�?/span>3�?/span>server�?/span>myid文�g中分别写入了1�Q?/span>2�Q?/span>3�Q�那么每�?/span>server中的zoo.cfg都配server.1,server.2,server.3��?/span>OK了。因为在同一台机器上�Q�后面连着�?/span>2个端�?/span>3�?/span>server都不要一��P��否则端口冲突�Q�其中第一个端口用来集��成员的信息交换�Q�第二个端口是在leader挂掉时专门用来进行选�Dleader所用�?br />
�q�入zookeeper-3.3.2/bin 目录�?span style="font-family: 宋体">�Q?strong>./zkServer.sh start启动一�?/span>server,�q�时会报大量错误�Q�其实没什么关�p�，因�ؓ现在集群只�v�?/span>1�?/span>server�Q?/span>zookeeper服务器端��h��会根�?/span>zoo.cfg的服务器列表发�v选�Dleader的请求，因�ؓ�q�不上其他机器而报错，那么当我们�v�W�二�?/span>zookeeper实例后，leader��会被选出�Q�从而一致性服务开始可以��用，�q�是因�ؓ3台机器只要有2台可用就可以选出leader�q�且对外提供服务(2n+1台机器，可以�?/span>n台机器挂�?/span>)�?br />
接下来就可以使用了，我们可以先通过 zookeeper自带的客��L��交互�E�序来简单感受下zookeeper到底做一些什么事情。进�?/span>zookeeper-3.3.2/bin�Q?/span>3�?/span>server中�Q意一个）下，./zkCli.sh –server 127.0.0.1:2182,我连的是开着2182端口的机器�?br />
那么�Q�首先我们随便打个命令，因�ؓzookeeper不认识，他会�l�出命��o�?/span>help,如下�?/span>

ls(查看当前节点数据),
ls2(查看当前节点数据�q�能看到更新�ơ数�{�数�?/span>) ,
create(创徏一个节�?/span>) ,
get(得到一个节点，包含数据和更新次数等数据),
set(修改节点)
delete(删除一个节�?/span>)

通过上述命��o实践�Q�我们可以发玎ͼ�zookeeper使用了一个类似文件系�l�的树结构，数据可以挂在某个节点上，可以对这个节点进行删攏V��另外我们还发现�Q�当改动一个节点的时候，集群中活着的机器都会更新到一致的数据�?/span>

zookeeper的数据模�?br /> 在简单��用了zookeeper之后�Q�我们发现其数据模型有些像操作系�l�的文�g�l�构�Q�结构如下图所�C?br />

(1)     每个节点�?/span>zookeeper中叫�?/span>znode,�q�且其有一个唯一的�\径标识，�?/span>/SERVER2节点的标识就�?/span>/APP3/SERVER2
(2)     Znode可以有子znode�Q��ƈ�?/span>znode里可以存数据�Q�但�?/span>EPHEMERAL�c�d��的节点不能有子节�?br /> (3)     Znode中的数据可以有多个版本，比如某一个�\径下存有多个数据版本�Q�那么查询这个�\径下的数据就需要带上版本�?br /> (4)     znode 可以是��时节点，一旦创��?/span> znode 的客��L��与服务器失去联系�Q�这�?/span> znode 也将自动删除�Q?/span>Zookeeper 的客��L��和服务器通信采用长连接方式，每个客户端和服务器通过心蟩来保持连接，�q�个�q�接状态称�?/span> session�Q�如�?/span> znode 是��时节点，�q�个 session 失效�Q?/span>znode 也就删除�?br /> (5)     znode 的目录名可以自动�~�号�Q�如 App1 已经存在�Q�再创徏的话�Q�将会自动命名�ؓ App2
(6)     znode 可以被监控，包括�q�个目录节点中存储的数据的修改，子节点目录的变化�{�，一旦变化可以通知讄��监控的客��L��Q�这个功能是zookeeper对于应用最重要的特性，通过�q�个�Ҏ��可以实现的功能包括配置的集中管理，集群��理�Q�分布式锁等�{��?/span>

通过java代码使用zookeeper
Zookeeper的��用主要是通过创徏�?/span>jar包下�?/span>Zookeeper实例�Q��ƈ且调用其接口�Ҏ��q�行的，主要的操作就是对znode的增删改操作�Q�监�?/span>znode的变化以及处理�?/span>

以下��Z��要的API使用和解�?/span>

//创徏一个Zookeeper实例�Q�第一个参��Cؓ目标服务器地址和端口，�W�二个参��CؓSession��时旉��Q�第三个��点变化时的回调方�?/span>
ZooKeeper zk = new ZooKeeper("127.0.0.1:2181", 500000,new Watcher() {
           // 监控所有被触发的事�?/span>
             public void process(WatchedEvent event) {
           //dosomething
           }
      });
//创徏一个节点root�Q�数据是mydata,不进行ACL权限控制�Q�节点�ؓ�怹�性的(卛_��L��shutdown了也不会消失)
zk.create("/root", "mydata".getBytes(),Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);

//在root下面创徏一个childone znode,数据为childone,不进行ACL权限控制�Q�节点�ؓ�怹�性的
zk.create("/root/childone","childone".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT);

//取得/root节点下的子节点名�U?�q�回List
zk.getChildren("/root",true);

//取得/root/childone节点下的数据,�q�回byte[]
zk.getData("/root/childone", true, null);

//修改节点/root/childone下的数据�Q�第三个参数为版本，如果�?1�Q�那会无视被修改的数据版本，直接�Ҏ��
zk.setData("/root/childone","childonemodify".getBytes(), -1);

//删除/root/childone�q�个节点�Q�第二个参数为版本，�Q?的话直接删除�Q�无视版�?/span>
zk.delete("/root/childone", -1);

//关闭session
zk.close();

Zookeeper的主��应用场景实现思�\�Q�除��d��方示例）

(1)配置��理
集中式的配置��理在应用集��中是非常常见的�Q�一般商业公司内部都会实��C��套集中的配置��理中心�Q�应对不同的应用集群对于�׃�n各自配置的需求，�q�且在配�|�变更时能够通知到集��中的每一个机器�?br />
Zookeeper很容易实现这�U�集中式的配�|�管理，比如��?/span>APP1的所有配�|�配�|�到/APP1 znode下，APP1所有机器一启动��对/APP1�q�个节点�q�行监控(zk.exist("/APP1",true)),�q�且实现回调�Ҏ��Watcher�Q�那么在zookeeper�?/span>/APP1 znode节点下数据发生变化的时候，每个机器都会收到通知�Q?/span>Watcher�Ҏ��会被执行，那么应用再取下数据即�?/span>(zk.getData("/APP1",false,null));

以上�q�个例子只是��单的�_�颗�_�度配置监控�Q�细颗粒度的数据可以�q�行分层�U�监控，�q�一切都是可以设计和控制的�?/span>
(2)集群��理
应用集群中，我们常常需要让每一个机器知道集��中�Q�或依赖的其他某一个集��）哪些机器是活着的，�q�且在集��机器因为宕机，�|�络断链�{�原因能够不在�h工介入的情况下迅速通知到每一个机器�?br />
Zookeeper同样很容易实现这个功能，比如我在zookeeper服务器端有一�?/span>znode�?/span>/APP1SERVERS,那么集群中每一个机器启动的时候都去这个节点下创徏一�?/span>EPHEMERAL�c�d��的节点，比如server1创徏/APP1SERVERS/SERVER1(可以使用ip,保证不重�?/span>)�Q?/span>server2创徏/APP1SERVERS/SERVER2�Q�然�?/span>SERVER1�?/span>SERVER2�?/span>watch /APP1SERVERS�q�个父节点，那么也就是这个父节点下数据或者子节点变化都会通知对该节点�q�行watch的客��L��。因�?/span>EPHEMERAL�c�d��节点有一个很重要的特性，��是客户端和服务器端�q�接断掉或�?/span>session�q�期��׃��使节�Ҏ��失，那么在某一个机器挂掉或者断铄��时候，其对应的节点��׃��消失�Q�然后集��中所有对/APP1SERVERS�q�行watch的客��L��都会收到通知�Q�然后取得最新列表即可�?br />
另外有一个应用场景就是集��?/span>master,一�?/span>master挂掉能够马上能从slave中选出一�?/span>master,实现步骤和前者一��P��只是机器在启动的时候在APP1SERVERS创徏的节点类型变�?/span>EPHEMERAL_SEQUENTIAL�c�d��Q�这��h��个节点会自动被编��P��例如

zk.create("/testRootPath/testChildPath1","1".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL_SEQUENTIAL);

zk.create("/testRootPath/testChildPath2","2".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL_SEQUENTIAL);

zk.create("/testRootPath/testChildPath3","3".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL_SEQUENTIAL);

// 创徏一个子目录节点
zk.create("/testRootPath/testChildPath4","4".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL_SEQUENTIAL);

System.out.println(zk.getChildren("/testRootPath", false));

打印�l�果�Q?/span>[testChildPath10000000000, testChildPath20000000001, testChildPath40000000003, testChildPath30000000002]

zk.create("/testRootPath", "testRootData".getBytes(),Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);

// 创徏一个子目录节点
zk.create("/testRootPath/testChildPath1","1".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL);

zk.create("/testRootPath/testChildPath2","2".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL);

zk.create("/testRootPath/testChildPath3","3".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL);

// 创徏一个子目录节点
zk.create("/testRootPath/testChildPath4","4".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL);

System.out.println(zk.getChildren("/testRootPath", false));

打印�l�果:[testChildPath2, testChildPath1, testChildPath4, testChildPath3]

我们默认规定�~�号最��的�?/span>master,所以当我们�?/span>/APP1SERVERS节点做监控的时候，得到服务器列表，只要所有集��机器逻辑认�ؓ最��编可��点�ؓmaster�Q�那�?/span>master��p��选出�Q�而这�?/span>master宕机的时候，相应�?/span>znode会消失，然后新的服务器列表就被推送到客户端，然后每个节点逻辑认�ؓ最��编可��点�ؓmaster�Q�这样就做到动�?/span>master选�D�?br />

�ȝ��

我们初步使用了一�?/span>zookeeper�q�且��试着描述了几�U�应用场景的具体实现思�\�Q�接下来的文章，我们会尝试着��L��I�一�?/span>zookeeper的高可用性与leaderElection��法�?/span>

参�?/strong>�Q?/span>http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/

http://hadoop.apache.org/zookeeper/docs/current/

http://rdc.taobao.com/team/jm/archives/448

BucketLI 2010-12-21 18:58 发表评论

亚洲αv久久久噜噜噜噜噜,亚洲免费无码在线,亚洲天堂一区二区三区四区

Google Megastore初探

JAVA�q�发容器代码随读

Log4j代码随读

JAVA LOCK代码��析

Netty代码分析

亚洲αv久久久噜噜噜噜噜,亚洲免费无码在线,亚洲天堂一区二区三区四区

Google Megastore初探

JAVA�q�发容器代码随读

Log4j代码随读

JAVA LOCK代码���析

Netty代码分析

JAVA LOCK代码��析