首页 > 大数据 > 正文

数据库Redis和MongoDB性能差别

2012-10-04 22:50:16  来源:博客

摘要:题目其实并不太准确,因为数据库并不会提供分页、排名等功能,提供的只是数据的存取,分页排名这些都是我们基于数据库的实用案例而已。
关键词: 数据库 Redis

  题目其实并不太准确,因为数据库并不会提供分页、排名等功能,提供的只是数据的存取,分页排名这些都是我们基于数据库的实用案例而已。然而无论是Redis还是MongoDB,通常都有一些常规的做分页和排名的方法。本文就通过一些测试数据来向大家介绍RedisMongoDB(以及传统关系型数据库)在这方面的性能差别。


  分页


  首先我们来做一个分页,在MongoDB中示例数据如下所未:


  db.scores.find();


  {lid: ObjectId("4fe506dabb2bfa742d000001"), score: 1, name: 'user_1'}


  {lid: ObjectId("4fe506dabb2bfa742d000001"), score: 2, name: 'user_2'}


  {lid: ObjectId("4fe506dabb2bfa742d000001"), score: 3, name: 'user_3'}


  {lid: ObjectId("4fe506dabb2bfa742d000001"), score: 4, name: 'user_4'}


  其中lid字段用于区分不同的纬度,主要用在筛选上,在测试collection中,一共有五个不同的lid值,每一个对应1,200,000条数据,一共6,000,000条数据。索引在lid 和 score上。(下面的查询能使用到索引)


  然后我们进行下面的性能测试:


  collection = Mongo::Connection.new.db('test')。collection('scores')


  Benchmark.bmbm do |x|


  x.report("mongo small") do


  100.times do |i|


  collection.find({:lid => lids.sample}, {:fields => {:_id => false, :score => true, :user => true}})。sort({:score => -1})。limit(20)。skip(i * 20)。to_a


  end


  end


  x.report("mongo medium") do


  100.times do |i|


  collection.find({:lid => lids.sample}, {:fields => {:_id => false, :score => true, :user => true}})。sort({:score => -1})。limit(20)。skip(i * 1000)。to_a


  end


  end


  x.report("mongo large") do


  100.times do |i|


  collection.find({:lid => lids.sample}, {:fields => {:_id => false, :score => true, :user => true}})。sort({:score => -1})。limit(20)。skip(i * 10000)。to_a


  end


  end


  end


  上面分别对skip条数比较小,中等大小和非常大三种情况进行了测试。而limit指定获取的数据都一样是20条。这三种情况下的测试结果分别是:0.6 秒, 17 秒,173 秒。


  我们可以看到,对MongoDB来说,skip的大小严重影响性能,应该严格避免特别大的skip操作。


  下面我们将类似的数据用Redis的Sorted Sets进行存储。并进行相应的性能测试:


  Redis = Redis.new(:driver => :hiRedis


  Benchmark.bmbm do |x|


  x.report("Redis small") do


  100.times do |i|


  start = i * 20


  Redis.zrevrange(lids.sample, start, start + 20, :with_scores => true)


  end


  end


  x.report("Redis medium") do


  100.times do |i|


  start = i * 1000


  Redis.zrevrange(lids.sample, start, start + 20, :with_scores => true)


  end


  end


  x.report("Redis large") do


  100.times do |i|


  start = i * 10000


  Redis.zrevrange(lids.sample, start, start + 20, :with_scores => true)


  end


  end


  这里skip的值和上面MongoDB中是一样的,那么Redis的表现如何呢。这三种情况下的测试结果分别是:0.028 秒, 0.025 秒, 0.028 秒。


  采用类似于MongoDB的数据结构存储在PostgreSQL中并进行相同的测试,其结果比MongoDB还要差一点。具体结果如下:


  mongo small   0.6


  mongo medium   17


  mongo large   173


  Redis small   0.028


  Redis medium   0.025


  Redis large   0.028


  pg small   1


  pg medium   122


  pg large   650


  排名


  排名功能与分页功能类似,不同的是排名是通过计算大于某个值的条数来做的。


  比如:


  //sql


  select count(*) from scores where lid = $1 and score > $2


  //mongo


  db.scores.find({lid: lid, score: {$gt: score}})。count()


  由于排名和分页实现原理上类似,所以结果实际上差不多。测试结果如下:


  mongo top rank   1.155847


  mongo average    22.291007


  Redis top rank   0.169442


  Redis average    0.162205


  pg top rank      0.714144


  pg average       21.771570


  结论


  上面做了对比,那么本文要说一个什么问题呢?


  首先,在MongoDB中,尽量避免进行比较大的skip操作,比如在分页中,如果你能知道需要获取数据的上一条score是多少,那么可能能够用下面的方法来获取你要的数据,而不是通过一次很大的skip操作。


  db.scores.find({lid: lid, score: {$lt: last_score}})。sort({score: -1})。limit(20)


  另外,如果你需要进行比较大的skip操作或者count比较大的数量,那么可以考虑采用Redis的Sorted Sets来做。


  后记


  本文在微博上引起了一些技术朋友的讨论,对于对比的问题这里做一个说明。


  我们知道,Redis是内存数据库,而MongoDB不是,所以有朋友质疑这里的对比是否只是内存与磁盘的对比。实际上这一说法不无道理,上面的测试数据出自原作者文章,其文章也并未提及MongoDB是否都在内存中。根据我个人的实验结果,当数据全部能够在内存中时,确实不会出现如本文中所说的MongoDB性能严重差异。但是,随着skip的变大,操作时间还是在显着变长,而Redis的Sorted Sets则相对稳定。


第三十八届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:zhangyexi

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。