一开始数据比较少，一台服务器的内存就足够，因此一个Redis 就能满足需求，但是随着业务发展，数据量变大，可能需要在多台服务器上运行多个Redis,所以需要将已有的数据进行分片（避免数据丢失），不同的片交给不同的Redis 服务。如果在一开始就考虑到这个问题，在只有一个Redis时，也将数据存放在Redis的不同db中，当增加Redis时，将dump.rdb中的数据按照db切分为多个文件，每个Redis使用各自的db,通过这种方式来实现无缝的扩展，因此需要有脚本能够切分dump.rdb.

    分片方法

    我们单服务器的内存是64G,我们估计64* 16G 在很长一段时间内是满足需求的，但是这个数据积累的过程可能比较缓慢，很长一段时间不会超过64G,因此一台Redis 服务器就足够，但是为了考虑到以后的扩展，一开始将数据sharding 到16个db中，也就是说在只有一个Redis时，client每次写数据会先计算key的hash,模16,得到db num,select db,然后写入，也可以为每个db 保持一个client,这样就可以避免每次select db 了。 当需要变更为两个Redis时，为了不丢失数据，需要将原来Redis的数据分为2份，一份是db 0-7,第二份是db 8-15, 用这两个数据启动Redis,就可以实现扩容了，因此必须要要有脚本能够切分Redis dump 出来的dump.rdb, 下面介绍我们的切分脚本：

    1.dump.rdb 结构： head + db 0 + db 1 + … + db n + eof

    2.修改Redis,在启动过程中打印出每部分的offset

    3.提供一个c 程序，可以将一个大文件按照指定的offset 进行切分

    4.将切分出的各个部分进行重新组装

    例如我们的例子

    1.初始时dump.rdb 的结构： head + db0 + … + db15 + eof

    2.得到head 以及每个db的offset

    3.切分出head, db0 + … + db7 , db8 + … + db15 三个部分

    4.将head ,db0 + … + db7 cat 在一个文件中，并在结尾加上eof,同样，将head , db7 + … + db15 cat在一个文件中，加上eof

    5.用上面的两个文件启动Redis,完成数据切分

    脚本

    切分脚本如下

    echo “Usage start-end db”

    startdb=$1             #上面的例子start 0

    enddb=$2              # end 是 7

    outdb=“$1-$2.rdb”  #输出文件的名字

    if [[ ! -f “dump.rdb” ]]; then            #使用当前目录下dump.rdb 作为源文件

    echo “no dump.rdb,must have”

    exit -1

    fi

    #使用修改过的Redis,打印offset,然后退出，使用awk 得到head 的offset

    headstart=`/global/share/bin/chenjp/Redis-db-offset >& tmp.log ; cat tmp.log | grep offset | grep -v dbid | awk -F '=' '{print $NF}'`

    headfile=“split-0-$headstart” #head所在文件

    /global/share/bin/chenjp/vsplit dump.rdb 0 $headstart  #根据offset 切分文件，0- headoffset 为head

    dbstartoffset=`cat tmp.log | grep “dbid=$startdb” | awk -F '=|,' '{print $（NF-2）}'`  #找到db的offset

    dbendoffset=`cat tmp.log | grep “dbid=$enddb” | awk -F '=|,' '{print $（NF-2）}'`

    if [[ $dbendoffset -eq “” ]];then

    dbendoffset=`ls -l dump.rdb  | awk -F ' ' '{print $5}'`

    fi

    echo “start:”$dbstartoffset“:”$dbendoffset

    dbfile=“split-$dbstartoffset-$dbendoffset”

    /global/share/bin/chenjp/vsplit dump.rdb $dbstartoffset $dbendoffset  #得到db 文件

    cat $headfile $dbfile > $outdb  #拼接

    printf “xff” 》 $outdb            #eof

    #rm -rf tmp.log

    #rm -rf split-*

    echo “file $dbfile ok, containts db $startdb to $enddb, pls mv to dump.rdb to start Redis server”

    Redis-db-offset原理

    而上面的Redis-db-offset实现也并不困难，只需要在load的时候将各个db开始的offset值打印也来就行了。diff如下：

    [chenjp@nb290 Redis-2.4.10]$ diff src/rdb.c  //Redis-2.4.10/src/rdb.c

    959c959

    <

    ---

    >     fprintf（stderr,“Redis_db head finished,offset=%lld ”,ftell（fp））；

    982a983,984

    >

    >             long db_start = ftell（fp） - 1;

    988a991

    >             fprintf（stderr,“Redis_db select,offset=%lld,dbid=%d ”,db_start,dbid）；

    [chenjp@nb290 Redis-2.4.10]$ diff src/Redis.c  //Redis-2.4.10/src/Redis.c

    1790a1791,1792

    >

    >         //exit（1）；

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。