MongoDB限制了并发量

时间:2011-12-13 20:48:05

标签: php concurrency mongodb

我正在创建一个应用程序,它同时运行多个服务器,每个服务器上有几个进程,所有这些进程都处理数据,进行查询/更新和插入。因此,总共有35个以上的并发连接。这些服务器都处理正在发送到单个mongodb服务器(mongod)的数据。我目前没有对数据库进行分片。问题是我受到mongodb服务器的限制。每当我添加更多服务器时,查询/更新/插入的运行速度就会变慢(它们需要更多时间)。我正在运行这个mongohq.com,然后我最近为mongod创建了我自己的亚马逊服务器,但我仍然得到了几乎相同的结果。下面的列表是我的db.serverStatus({})。我对mongodb有点新,但基本上我需要知道如何加快我的mongo服务器进行的并发操作量的过程。我需要它能够处理很多请求。我知道分片是一种可行的方法,但如果可能的话,你可以列出其他一些可用的解决方案。感谢。

> db.serverStatus({})
{
"host" : "ip-10-108-245-21:28282",
"version" : "2.0.1",
"process" : "mongod",
"uptime" : 11380,
"uptimeEstimate" : 11403,
"localTime" : ISODate("2011-12-13T22:27:56.865Z"),
"globalLock" : {
    "totalTime" : 11380429167,
    "lockTime" : 86138670,
    "ratio" : 0.007569017717695356,
    "currentQueue" : {
        "total" : 0,
        "readers" : 0,
        "writers" : 0
    },
    "activeClients" : {
        "total" : 35,
        "readers" : 35,
        "writers" : 0
    }
},
"mem" : {
    "bits" : 64,
    "resident" : 731,
    "virtual" : 6326,
    "supported" : true,
    "mapped" : 976,
    "mappedWithJournal" : 1952
},
"connections" : {
    "current" : 105,
    "available" : 714
},
"extra_info" : {
    "note" : "fields vary by platform",
    "heap_usage_bytes" : 398656,
    "page_faults" : 1
},
"indexCounters" : {
    "btree" : {
        "accesses" : 798,
        "hits" : 798,
        "misses" : 0,
        "resets" : 0,
        "missRatio" : 0
    }
},
"backgroundFlushing" : {
    "flushes" : 189,
    "total_ms" : 29775,
    "average_ms" : 157.53968253968253,
    "last_ms" : 185,
    "last_finished" : ISODate("2011-12-13T22:27:16.651Z")
},
"cursors" : {
    "totalOpen" : 34,
    "clientCursors_size" : 34,
    "timedOut" : 0,
    "totalNoTimeout" : 34
},
"network" : {
    "bytesIn" : 89743967,
    "bytesOut" : 59379407,
    "numRequests" : 840133
},
"opcounters" : {
    "insert" : 5437,
    "query" : 8957,
    "update" : 4312,
    "delete" : 0,
    "getmore" : 76,
    "command" : 821388
},
"asserts" : {
    "regular" : 0,
    "warning" : 0,
    "msg" : 0,
    "user" : 0,
    "rollovers" : 0
},
"writeBacksQueued" : false,
"dur" : {
    "commits" : 29,
    "journaledMB" : 0.147456,
    "writeToDataFilesMB" : 0.230233,
    "compression" : 0.9999932183619632,
    "commitsInWriteLock" : 0,
    "earlyCommits" : 0,
    "timeMs" : {
        "dt" : 3031,
        "prepLogBuffer" : 0,
        "writeToJournal" : 29,
        "writeToDataFiles" : 2,
        "remapPrivateView" : 0
    }
},
"ok" : 1

}

  

1 个答案:

答案 0 :(得分:1)

更多负载从mongod产生更高的响应时间是多么令人惊讶?性能下降有几个可能的原因。

例如,每次写入mongod都会使用进程范围的写锁定。因此,您添加的服务器越多,将尝试更多更新(假设每个服务器的更新负载大约稳定),因此进程在写锁定中花费的时间越长。你可以通过mongostat"锁定%"来关注这个问题。字段。

此外,如果你使用JS驱动的功能(m / r,db.eval()等),这些操作不能由mongod同时执行,因为每个mongod都有一个JavaScript上下文(单线程)

如果您想要更具体的分析,那么您可能需要考虑发布确切的数字。每秒读取和写入次数,执行查询的查询计划是什么,添加额外的应用服务器对整体数据库性能有何影响等。