亚洲午夜久久久久久尤物,亚洲成av人在片观看,亚洲精品无码你懂的

Sat, 30 Jul 2011 10:23:00 GMT

不知不觉房��pȝ��已经使用MongoDB一�q�多了，记得一�q�多以前�Q�正是NOSQL被热炒时�Q�MongoDB更是作�ؓNOSQL中的��g��者，被炒得火烫，也应该就在当时被�q�股火烫着了，所以义无反�儡��选择了MongoDB�Q�现在想惛_��时确实有些冲动了�Q�当时MongoDB的资料还是比较少�Q�更别说中文资料了，后来�q�出��C��用MongoDB成功应用的范例Foursquare的宕��Z��件。现在确实应该很感谢MongoDB为我们的�pȝ��服务了一�q�了�Q�在�q�一�q�的旉��里，��实出现�q�不��的��问题，特别是在��理操作上，我想�q�大概也是因为MongoDB在系�l�维护上不如Mysql那样有着各种的业界实践，往往��只能通过��理员自己去摸烦�?br /> 下面��在�q�一�q�的一些简单的��理操作做一下记�?br />

Starting and Stopping Mongo

Security and Authentication

Monitoring and Diagnostics

Backups

Starting and Stopping Mongo

MongoDB启动

对了�Q�MongoDB在linux下是无需安装的，从官�|�上下蝲下安装包后解压，直接执行mongod�Q�就可以启动MongoDB服务器，当然mongod�q�有很多的启动选择��，�q�行mongod --help��可以查看所有的选择��V�?br />
-f [ --config ] arg configuration file specifying additional options
一般来��_��启动选择��可以直接写在在mongod后面�Q�也可以指定配置文�g�Q�用文�g来加载各�U�启动项�Q�如
/home/mongodb/bin/mongod --config /home/mongodb/conf/mongod.conf

上面是一台测试机的启动选择��V�?br />
dbpath = /home/mongodb/data
    指定数据库的存储目录�Q�如果不讄��则以mongodb的根目录为目录，当MongoDB启动之后�Q�在数据库的存储目录下会创徏一个mongod.lock文�g�Q�它是用来记录当前的mongod的进�E�号�Q�同时也用于区分各个mongod的进�E�实例，所以不同的mongod�q�程实例是不能用相同的dbpath�?br /> logpath = /home/mongodb/mongodb.log
    指定日志输出的�\径，如果没有讄��logappend = true�Q�系�l�会清除原来的日志记录，把已有的文�g�q�行覆盖�?br /> logappend = true
    日志以追加的方式�q�行记录
bind_ip = 192.168.86.111
    指定对外服务的绑定ip�Q�这里指定内�|�的ip方式�Q�如果外�|�无�Ҏ��的处理方式是无法�q�行�q�接�?br /> port = 27017
    指定服务器的监听端口��P��默认�?7017�Q�如果单个机器要�q�行多个mongod�q�程�Q�则需要给每个�q�程指定不同的端口号�?br /> fork = true
    指定以守护进�E�的方式来启动MongoDB�Q�如果不指定�Q�在启动mongod命��o是加“&”也是可以的�?br /> auth = true
    启动mongodb客户端登录的认证机制�?br /> master = true
    指定该机器�ؓ��M��模式下的��L��器�?br /> 配置完配�|�文件后启栋mongod�Q�启动时要盯着日志文�g看，因�ؓ日志通常会告诉我们一些错误或警告的信息，�q�样能够更好的帮助我们了解和避免错误�?br />

�q�里�l�出了个提示�Q��用的�?2位的Mongodb�Q�所以MongoDB只是存储最大�ؓ2GB的数据。其实这个跟MongoDB的mmap机制有关�Q�如果是64位则不会存在�q�种限制�?br /> ��h��意一定要盯着日志�?br />

tail -100f /home/mongodb/mongodb.log

停止MongoDB

千万要强调的是千万不要��用kill -9��d��闭mongod�Q�这��h��据库会不理一切直接杀死该�q�程�Q�会使得数据文�g损坏�?br /> �E�_��的方法是使用kill -2 pid��d��闭mongod�Q�也��是当mongod�q�程接受到关闭指令后会等待当前运行操作或文�g分配�{�操作完毕后�Q�关闭所有打开的连接，�q�将�~�存的数据刷新到��盘后才正式关闭�?br /> 最�E�_��的方式是使用shutdown命��o来结�?br />

> use admin
switched to db admin
> db.shutdownServer();

Security and Authentication

打开mongodb.org的Security文档�Q�第一句话��是 Running Without Security(Trusted Environment)�Q�跟我们��世界上没有什么百分百安全的环境，最好的安全是放在一个安全的环境中运行，�q�么无底气的话语未免也让��Zؓ它的安全担心�Q�不�q�事实上MongoDB�q�是有安全认证模式的�Q�只不过跟mysql�Ҏ��h��有一点简陋�?br />
MongoDB的安�?/span>
MongoDB目前只支持最基本的安全认证，如果我们开启了安全性检查，则只有数据库认证用户才能�q�行��d��操作�Q�当然我们还可以创徏��d��权限用户和只��L��限用��P��如果我们在admin的数据库中进行创建用��P��那么admin中的用户��׃��被当作超�U�用��P��用户可以��d��所有的数据库，�q�且�q�可以进行特�D�的��理操作�Q�比如可以再创徏其他用户关闭�q�程�{�操作�?br />
配置MongoDb用户认证
�Ҏ��官网上的例子�Q�我们也来创��Z��个超�U�用��P��一个test库中��h��d��操作的普通用��P��一个test库中只有��L��作的普通用戗��?/div>

> use admin
switched to db admin
> db.addUser("cyz","abc")
{
        "_id" : ObjectId("4dba5fe7c6792ae30fea3c31"),
        "user" : "cyz",
        "readOnly" : false,
        "pwd" : "8658a5bf469e005b047560619ef0d51c"
}
> use test
switched to db test
> db.addUser("cyz001","abc")
{
        "user" : "cyz001",
        "readOnly" : false,
        "pwd" : "7a597bef551027cc2161d5e0efe4049e"
}
> db.addUser("cyz002","abc",true)
{
        "user" : "cyz002",
        "readOnly" : true,
        "pwd" : "2dde0a3777cd7dd92459a6c3f98afac6"
}

�q�里cyz是在admin库中创徏�Q�属于超�U�用��P��可以�Ҏ��有库�q�行操作�Q�在test库中创徏的cyz001和cyz002属于test库的操作人员�Q�只能对test库进行相应操作，记得要�ؓ安全验证生效需要将启动��auth讄��为true�?br />
查看用户
所有的用户信息都存储在每个数据库的db.system.users中，可以使用find()�q�行查看

> use admin
switched to db admin
> db.system.users.find()
{ "_id" : ObjectId("4dba5fe7c6792ae30fea3c31"), "user" : "cyz", "readOnly" : false, "pwd" :

"8658a5bf469e005b047560619ef0d51c" }

其中的pwd是根据用户名和用户密码生成的散列倹{�?br />
修改用户
不管是添加用��P��修改用户密码�Q�修改用��h��作权限都使用addUser()来完成。删除用户可以用remove()来实现�?/div>

> db.system.users.find({"user":"cyz001"})

更多的安全考虑

刚说了MongoDB的安全认证其实还是简陋的�Q�所以我们还是有其他很多的安全考虑�?br /> 1.比如说MongoDB传输协议是不加密的，如果需要加密的话，我们可以考虑使用ssh隧道或是他们的技术来对客��L��和服务端之间的通讯�q�行加密�?br /> 2.��MongoDB部��v在只有客��L��服务器才能访问到的环境，比如内网�Q�vpn�|�络中，可以使用 bind_ip = 本机或内�|?�?br /> 3.如果��实需要将MongoDB暴露在外部环境可以考虑使用IPTABLES�{�技术进行访问限制�?br />

Monitoring and Diagnostics

官网首先�l�我们推荐了mongostat监控工具�Q�基本上mongostat可以作�ؓ一个外部观��MongoDB内部状态指标的工具�Q��ƈ且一�U�更��C��ơ，如果出现一些性能问题可以用这里入手进行分析�?br />

�q�里的属性都可以通过mongostat --help�q�行查看�Q�有几个列需要解释一下，可以帮助到我们发生性能问题时比较准备的扑ֈ�定位�?br />
faults�Q�这是一个重要的性能指标�Q�显�C�Z��的机器每�U�页面故障的数量�Q�这个是mongoDB映射到虚拟地址�I�间�Q�而不是物理内存，�q�个值如果飙高的话，可能意味着你的机器没有��_��的内存来存储数据和磁盘的讉K��?br /> flushes�Q�每�U�做了多��次fsync�Q�表面多��次数据被刷新进了磁盘�?br /> mapped�Q�是指mmap有多��数据量�Q�也��是服务器的内存映射�Q�其中包含了虚拟内存和常��d��存�?br /> locked�Q�这个��D��面全局写入锁占用了机器多少旉��Q?当放生全局写入锁时�Q�所有的查询操作都将�{�待�Q�直到写入锁的解锁，如果�q�个锁飙高有可能是你的程序那部分出现问题�?br /> idx miss�Q�B树未命中的比例，�q�个应该是我们查询的命中的实时指敎ͼ�一般在特定查询中会有用到�?br /> qr | qw�Q�如果有太多的查询进行处理，它们��׃��一个队列的方式�q�行�Q�如果这个值飙高的话，那么查询也会变得很慢�Q�因为后面的队列必须�{�待前面的队列执行完毕，高�ƈ发时�Q�一般队列��g��升高�?br /> 另外我们�q�可以在mongodb shell中进行检查，使用db.serverStatus()

基本上db.serverStatus()跟mongostat 差不多，不过它显�C�的数据更�ؓ具体�Q�它也有一个缺陷就是它的数据是静态的�Q�不是实时的�?br />
Http Console
其实mongodb�q�提供了一个跟直观的检��工��P��在默认情况下�Q�启动mongodb的同时还会启动一个http的服务器�Q�用�|�页展示的信息比前两个工��h��得更加直观，启动默认的监听端口�ؓ28017 http�Q?/ip:28017

基本上我们可以看到查询，复制�Q�锁�{�等�q�些的情况，具体的参数还是上官网looklook�Q�http://www.mongodb.org/display/DOCS/Http+Interface

当然了，我们�q�可以��用其他的专业监控软�g�q�行监控�Q�如nagios�Q�cacti�Q�这些都有mongodb的插件�?br />

Backups
MongoDB的备份机制还是不错的�Q�备份的方式也是很多�Q�这个�ƈ不比mysql要差�?br />
Shutdown and Backup
关闭服务�Q�直接把dbpath参数的目录进行备份，只需把所有的文�g�q�行复制到其他地方就可以�Q�不�q�如果这个备份是在服务启动时候做的话�Q�有可能备䆾的文件会被损坏，虽然�q�种关闭服务的备份很有效也很安全�Q�都效果相当不理惟�?br />
mongodump & mongorestore
mongodump��直就是mysqldump的另一版，如果你��用过mysqldump那就再熟悉不�q�了�Q�mongodbdump可以使用在各个客��L��Q�对正在�q�行的mongodb服务做出查询�Q�然后将所有查到的文本写入到客��L��的磁盘�?/div>

除了mongodump�Q�MongoDB�q�提供了从备份中恢复数据的工具mongorestore�Q�mongorestore从mongodump获取�l�果�Q��ƈ��备份的数据插入到运行的MongoDB实例�?/div>

./mongodump --db test --collection user --out - > /home/chenyz/cyz.bson
./mongorestore --db test --collection user --directoryperdb /home/chenyz/cyz.bson --drop cyz.bson

上面的例子中�Q�指定了要备份的db和要备䆾的collection�Q?-drop表明要在恢复前删除集合，否则�Q�数据将和现有的集合数据合�ƈ�?br />
��M��备䆾
上面说的几种备䆾数据方式已经很灵�z�M��Q�但都不及在从服务器上备份来得方便，从服务器的数据几乎是于主服务器进行同步，涉及��C��从方面还有很多，从服务器备䆾��׃��攑֜��q�里讲了�?br />
修复
遇到一些停电，或非法关闭mongodb�Q�不合理备䆾文�g的操作，往往会出现文件损毁的提示�Q�幸好，mongodb内置的修复功能会试着��L��复损坏的文�g�?br /> 操作很简单，只需在启动mongod 加入 --repair启动��，�pȝ��׃��所有的文�g导入忽略那些无效的文档然后进行导入，完成之后�Q�会重新建立索引�Q�数据量大的话需要花费很长的旉��Q�因为所有的文�g都需要进行验证，所有的索引都需要重建，另外修复数据库还能�v到压�~�数据的作用�Q�闲�|�的�I�间�Q�碎片在修复后会被重新回收进行��用�?br />
另外在shell中也可以直接�q�行repair操作

> db.repairDatabase()
{
"ok" : 1
}

陈于�?/a> 2011-07-30 18:23 发表评论

说说MongoDB的ObjectId

Sun, 12 Jun 2011 10:30:00 GMT

前段旉��有个朋友问我�Q�分布式主键生成�{�略在我们这�Ҏ��怎么实现的，当时我给的答案是sequence�Q�当然这在不高�ƈ发的情况下是没有��M��问题�Q�实际上�Q�我们的主键生成是可控的�Q�但如果是在分布式高�q�发的情况下�Q�那肯定是有问题的�?br />
�H�然惌��vmongodb的objectid�Q�记得以前看�q�文档，objectid是一�U�轻量型的，不同的机器都能用全局唯一的同�U�方法轻量的生成它，而不是采用传�l�的自增的主键策略，因�ؓ在多台服务器上同步自动增加主键既费力又费�Ӟ��不得不佩服，mongodb从开始设计就被定义�ؓ分布式数据库�?br />下面深入一�Ҏ��ȝ��q�个Objectid的底�l�，在mongodb集合中的每个document中都必须有一�?_id"建，�q�个键的值可以是��M��c�d��的，在默认的情况下是个Objectid对象�?br />当我们让一个collection中插入一条不带_id的记录，�pȝ��会自动地生成一个_id的key

> db.t_test.insert({"name":"cyz"})
> db.t_test.findOne({"name":"cyz"})
{ "_id" : ObjectId("4df2dcec2cdcd20936a8b817"), "name" : "cyz" }

可以发现�q�里多出一个Objectid�c�d��的_id�Q�当然了�Q�这个_id是系�l�默认生成的�Q�你也可以�ؓ其指定一个��|��不过在同一collections中该值必��L��唯一�?br />
�?ObjectId("4df2dcec2cdcd20936a8b817")�q�串值拿出来�q�对照官�|�的解析来深入分析�?br />
"4df2dcec2cdcd20936a8b817" 以这�D�字�W�串��Z��来进行解析，�q�是一�?4位的字符�Ԍ��看�v来很长，很难理解�Q�实际上它是由ObjectId(string)所创徏的一�l�十六进制的字符�Q�每个字节两位的十六�q�制数字�Q��d��使用�?2字节的存储空��_��可能有些朋友会感到很奇怪，居然是用�?2个字节，而mysql的INT�c�d��也只�?个字节，不过按照现在的存储设备，多出来的�q�点字节也应该不会成��Z��么瓶颈，实际上，mongodb在设计上无处不在的体现着用空间换旉��的思想�Q�接下看�?br />
下面是官�|�指定Bson中ObjectId的详�l�规�?br />

TimeStamp
�?位是一个unix的时间戳�Q�是一个int�c�d��Q�我们将上面的例子中的objectid的前4位进行提�?#8220;4df2dcec”�Q�然后再��他们安装十六进制专为十�q�制�Q?#8220;1307761900”�Q�这个数字就是一个时间戳�Q��ؓ了让效果更佳明显�Q�我们将�q�个旉��戌��{换成我们习惯的时间格�?/div>

$ date -d '1970-01-01 UTC 1307761900 sec' -u
2011�q?nbsp;06�?nbsp;11�?nbsp;星期�?nbsp;03:11:40 UTC

�?个字节其实隐藏了文档创徏的时��_��q�且旉��戛_��在于字符的最前面�Q�这��意味着ObjectId大致会按照插入进行排序，�q�对于某些方面�v到很大作用，如作为烦引提高搜索效率等�{�。��用时间戳�q�有一个好处是�Q�某些客��L��驱动可以通过ObjectId解析��记录是何时插入的�Q�这也解�{�了我们�q�x��快速连�l�创建多个Objectid�Ӟ��会发现前几位数字很少发现变化的现实，因�ؓ使用的是当前旉��Q�很多用��h��心要�Ҏ��务器�q�行旉��同步�Q�其实这个时间戳的真实值�ƈ不重要，只要其��M��停增加就好�?/div>

Machine
接下来的三个字节�Q�就�?2cdcd2 ,�q�三个字节是所在主机的唯一标识�W�，一般是机器��L��名的散列��|��q�样��q��保了不同��L��生成不同的机器hash��|��保在分布式中不造成冲突�Q�这也就是在同一台机器生成的objectid中间的字�W�串都是一模一��L��原因�?br />
pid
上面的Machine是�ؓ了确保在不同机器产生的objectid不冲�H�，而pid��是��Z��在同一台机器不同的mongodb�q�程产生了objectid不冲�H�，接下来的0936两位��是产生objectid的进�E�标识符�?br />
increment
前面的九个字节是保证了一�U�内不同机器不同�q�程生成objectid不冲�H�，�q�后面的三个字节a8b817�Q�是一个自动增加的计数器，用来��保在同一�U�内产生的objectid也不会发现冲�H�，允许256�?�ơ方�{�于16777216条记录的唯一性�?/div>

客户端生�?/strong>
mongodb产生objectid�q�有一个更大的优势�Q�就是mongodb可以通过自��n的服务来产生objectid�Q�也可以通过客户端的驱动�E�序来��生，如果你仔�l�看文档你会感叹�Q�mongodb的设计无处不在的�?br />
用空间换旉��的思想�Q�比较objectid是轻量��Q�但服务端��生也必须开销旉��Q�所以能从服务器转移到客��L��驱动�E�序完成的就��量的�{�U�，必须��事务扔�l�客��L��来完成，减低服务端的开销�Q�另�q�有一点原因就是扩展应用层比扩展数据库层要变量得多�?br />
好吧�Q�既然我们了解到我们的程序��生objectid是在客户端完成，那再�l�箋�Q�进一步了解，打开mongodb java driver源码�Q�无源码可以到mongodb官网�q�行下蝲�Q�下面摘录部分代�?br />
public class ObjectId implements Comparable<ObjectId> , java.io.Serializable {

    final int _time;
    final int _machine;
    final int _inc;

    public ObjectId( byte[] b ){
        if ( b.length != 12 )
            throw new IllegalArgumentException( "need 12 bytes" );
        ByteBuffer bb = ByteBuffer.wrap( b );
        _time = bb.getInt();
        _machine = bb.getInt();
        _inc = bb.getInt();
        _new = false;
    }

    public ObjectId( int time , int machine , int inc ){
        _time = time;
        _machine = machine;
        _inc = inc;
        _new = false;
    }

    public ObjectId(){
        _time = (int) (System.currentTimeMillis() / 1000);
        _machine = _genmachine;
        _inc = _nextInc.getAndIncrement();
        _new = true;
    }

�Q�完整代码请查看源码�Q?/span>

�q�里可以发现ObjectId的构建可以有多种方式�Q�可以由自己制定字节�Q�也可以指定旉��Q�机器码和自增��|��q�里重点看看驱动�E�序默认的构建，也就是public ObjectId()
可以看到objectid主要由_time _machine _inc 所�l�成�Q�其�?_time直接�?System.currentTimeMillis() / 1000)计算出所谓的旉��戻I��q�里很简单，接下来是重点�Q�主要看�?strong>机器码和�q�程�?/strong>的构�?/div>

private static final int _genmachine;
    static {

        try {
            final int machinePiece;//机器码块
            {
                StringBuilder sb = new StringBuilder();
                Enumeration<NetworkInterface> e = NetworkInterface.getNetworkInterfaces();//NetworkInterface此类表示一个由名称和分配给此接口的 IP 地址列表�l�成的网�l�接口，它用于标识将多播�l�加入的本地接口�Q�这里通过NetworkInterface此机器上所有的接口
                while ( e.hasMoreElements() ){
                    NetworkInterface ni = e.nextElement();
                    sb.append( ni.toString() );
                }
                machinePiece = sb.toString().hashCode() << 16; //��得到所有接口的字符串进行取散列�?/span>
                LOGGER.fine( "machine piece post: " + Integer.toHexString( machinePiece ) );
            }
            final int processPiece;//�q�程�?/span>
            {
                int processId = new java.util.Random().nextInt();
                try {
                    processId = java.lang.management.ManagementFactory.getRuntimeMXBean().getName().hashCode();//RuntimeMXBean是Java虚拟机的�q�行时系�l�的��理接口�Q�这里是�q�回表示正在�q�行�?nbsp;Java 虚拟机的名称�Q��ƈ�q�行取散列倹{�?/span>
                }
                catch ( Throwable t ){
                }

                ClassLoader loader = ObjectId.class.getClassLoader();
                int loaderId = loader != null ? System.identityHashCode(loader) : 0;

                StringBuilder sb = new StringBuilder();
                sb.append(Integer.toHexString(processId));
                sb.append(Integer.toHexString(loaderId));
                processPiece = sb.toString().hashCode() & 0xFFFF;
                LOGGER.fine( "process piece: " + Integer.toHexString( processPiece ) );
            }
            _genmachine = machinePiece | processPiece; //最后将机器码块的散列��g��q�程块的散列��D��行位或运��，得到 _genmachine
            LOGGER.fine( "machine : " + Integer.toHexString( _genmachine ) );
        }
        catch ( java.io.IOException ioe ){
            throw new RuntimeException( ioe );
        }
    }

Enumeration e = NetworkInterface.getNetworkInterfaces();
               while ( e.hasMoreElements() ){
                    NetworkInterface ni = e.nextElement();
                    sb.append( ni.toString() );
                }
machinePiece = sb.toString().hashCode() << 16;
�q�里的NetworkInterface.getNetworkInterfaces();取得的接口通常是按名称�Q�如 "le0"�Q�区分的�Q�大�U�是下面的类�?/div>
name:lo (Software Loopback Interface 1) index: 1 addresses:
/0:0:0:0:0:0:0:1;
/127.0.0.1;
name:net0 (WAN Miniport (SSTP)) index: 2 addresses:
name:net1 (WAN Miniport (IKEv2)) index: 3 addresses:
name:net2 (WAN Miniport (L2TP)) index: 4 addresses:
name:net3 (WAN Miniport (PPTP)) index: 5 addresses:
name:ppp0 (WAN Miniport (PPPOE)) index: 6 addresses:

�q�里��Z��么要采取�q�样斚w��q�行取散列��|��感觉有些不太理解�Q�应该网�l�接口本�w�相对而言是�ƈ不稳定的

int processId = new java.util.Random().nextInt();
try {
processId = java.lang.management.ManagementFactory.getRuntimeMXBean().getName().hashCode();
}
catch ( Throwable t ){
}
RuntimeMXBean是Java虚拟机的�q�行时系�l�的��理接口�Q�这里是�q�回表示正在�q�行�?Java 虚拟机的名称�Q��ƈ�q�行取散列��|��如果在这�q�程中出现异常，processId ��以随机数的方式�l�箋计算

_genmachine = machinePiece | processPiece;

最后将机器码块的散列��g��q�程块的散列��D��行位或运��，当然�q�里是十�q�制�Q�你把这里的十进制专为十六进�Ӟ��׃��发现�q�块的值就是生产objectid中间部分的��|��q�里的构��服务端的构徏是有些不一��L��Q�不�q�最基本的构建元素还是一致的�Q�就�?strong>TimeStamp�Q�Machine �Q�pid�Q�increment�?br />
mongodb的ObejctId生��思想在很多方面挺值得我们借鉴的，特别是在大型分布式的开发，如何构徏轻量�U�的生��Q�如何将生��的负载进行�{�U�，如何以空间换取时间提高生产的最大优化等�{��?/div>

----------------------------------------

by 陈于�?
QQ:34174409
Mail: dongbule@163.com

陈于�?/a> 2011-06-12 18:30 发表评论