前言

數(shù)據(jù)庫(kù)性能對(duì)軟件整體性能有著至關(guān)重要的影響，本文給大家分享了一次MongoDB數(shù)據(jù)庫(kù)查詢(xún)性能提高40倍的經(jīng)歷，感興趣的朋友們可以參考學(xué)習(xí)。

背景說(shuō)明

1、數(shù)據(jù)庫(kù)：MongoDB

2、數(shù)據(jù)集：

• A：字段數(shù)不定，這里主要用到的兩個(gè)UID和Date
• B：三個(gè)字段，UID、Date、Actions。其中Actions字段是包含260元素JSON數(shù)組，每個(gè)JSON對(duì)象有6個(gè)字段。共有數(shù)據(jù)800萬(wàn)條左右。

3、業(yè)務(wù)場(chǎng)景：求平均數(shù)

• 通過(guò)組合條件從A數(shù)據(jù)表查詢(xún)出（UID，Date）列表，最多可能包含數(shù)萬(wàn)條記錄；
• 然后用第1步的結(jié)果從B中查詢(xún)出對(duì)應(yīng)的數(shù)據(jù)
• 用第2步結(jié)果去Actions的某個(gè)固定位置的元素的進(jìn)行計(jì)算

進(jìn)化過(guò)程

在這里使用Python演示

最直接想到的方法

根據(jù)上面的業(yè)務(wù)場(chǎng)景描述，最容易想到的解決方法就是

from pymongo import MongoClient
# 連接數(shù)據(jù)庫(kù)
db = MongoClient('mongodb://127.0.0.1:27017')['my_db']

# 簡(jiǎn)化的查詢(xún)數(shù)據(jù)集A的條件
filter = {...}
# 查詢(xún)Collection A
a_cursor = db.a.find(_filter)
a_docs = [x for x in a_cursor]

# 變量的初始定義
count = 0
total = 0
# 加入需要用到的元素為第21個(gè)
index = 20
# 查詢(xún)Collection B，同時(shí)做累加
for a_doc in a _docs:
 b_doc = db.b.find_one({'uid':a_doc['uid'], 'date': a_doc['date']})
 # 只有能查到相應(yīng)的結(jié)果時(shí)，才可以
 if b_doc is not None:
 total += b_doc['actions'][20]['number']
 count += 1

 # 求平均數(shù)
 if count > 0 :
 avg = total/count