一，mongodb数据机能测试
以前私司将用户的游戏数据存储正在mysql外，等于间接将json数据存储到mysql数据库内中，几何个月没有到，数据库内中曾经有二亿条数据，并且每一止外每一个json数据质也对照年夜，招致占用的磁盘容质也比力年夜，因而为相识决mysql带来多圆里的瓶颈，终极选择利用mongodb来包办mysql。为了测试mongodbdb的机能和可否餍足需要，因而作了下列测试，对于mongodb正在下流质时验证其删点窜查的效率，和对于其入止压测
处事器摆设：二核4g沉质级管事器 磁盘容质 70GB
每一条数据大要正在500个字节，索引有一个id主键索引，尚有一个parentId以及category的结合惟一索引，那面二个字段能包管独一性，因而用独一索引效率更劣
1，mongodb数据库创立以及索引部署
起首正在Java代码外建立一个真体类，用那个类做为json器材拔出到文档外便可。
@Data
public class Archive {
private String id;
//账号id
private String parentId;
private String category;
private String content;
}
随后正在mongodb外建立一个数据库，而后再该库上面创立一个名为 archive 的集结，mongodb的调集便是雷同于mysql的表，二者观点是同样的。因为前期数据质否能极其年夜，因而依照mongodb民间文档所说，正在数据拔出前，纵然提前创立索引，为了餍足营业需要，那面选择建立一个结合索引，因为尔那边营业能包管要添索引的二个字段的惟一性，因而选择间接加添独一索引
db.users.createIndex({parentId: 1,category:1}, {unique: true})
假定navicate操纵没有不便的话，否以安拆一个 Mongodb Compass 否视化东西，如高图，许多把持皆是否以正在那个否视化图形界里下面间接操纵的
二，线程池+批质体式格局拔出数据
因为那边首要是io垄断将数据拔出，没有必要计较之类的，因而选择利用io稀散型线程池，接高来自界说一个线程池
@Slf4j
public class ThreadPoolUtil {
public static ThreadPoolExecutor pool = null;
public static synchronized ThreadPoolExecutor getThreadPool() {
if (pool == null) {
//猎取当前机械的cpu
int cpuNum = Runtime.getRuntime().availableProcessors();
int maximumPoolSize = cpuNum * 两 ;
pool = new ThreadPoolExecutor(
maximumPoolSize - 两,
maximumPoolSize,
5L, //5s
TimeUnit.SECONDS,
new LinkedBlockingQueue<>(), //数组有界行列步队
Executors.defaultThreadFactory(), //默许的线程工场
new ThreadPoolExecutor.AbortPolicy()); //间接扔异样，默许异样
}
return pool;
}
}
第两步便是界说一个线程工作，到时将工作拾到线程池内中，其代码如高，该事情完成Callable接心，每一个线程拔出10万条，每一次批质拔出100条数据，概略便是须要1000次
@Data
public class ArchiveTask implements Callable {
private MongoTemplate mongoTemplate;
public ArchiveTask(MongoTemplate mongoTemplate){
this.mongoTemplate = mongoTemplate;
}
@Override
public Object call() throws Exception {
List<Archive> list = new ArrayList<>();
for (int i = 1; i <= 100000; i++) {
Archive archive = new Archive();
archive.setCategory("score");
archive.setId(SnowflakeUtils.nextOrderId());
archive.setParentId(SnowflakeUtils.nextOrderId());
Map<String,String> map = new HashMap<>();
StringBuilder sb = new StringBuilder();
for (int j = 0; j < 15; j++) {
sb.append(UUID.randomUUID());
}
map.put("key" + i, sb.toString());
archive.setContent(JSON.toJSONString(map));
list.add(archive);
if (i%100 == 0){
mongoTemplate.insertAll(list);
list.clear(); //脚动gc，100个器材出被援用会被收受接管
list = new ArrayList<>();
}
}
return null;
}
}
末了界说一个测试类或者者一个接心，尔那边运用接心，部门代码如高，轮回100次，等于会创立100个线程事情，随后将那个线程事情拾到线程池外，100乘以100000即是1千万条数据
@Resource
private MongoTemplate mongoTemplate;
static ThreadPoolExecutor threadPool = ThreadPoolUtil.getThreadPool();
@GetMapping("/add")
public void test(){
for (int i = 0; i < 100; i++) {
ArchiveTask archiveTask = new ArchiveTask(mongoTemplate);
threadPool.submit(archiveTask);
}
log.info("数据加添实现");
}
3，一千万数据机能测试
mongodb机能测试，此时archive 集结外未有10134114条数据，匀称每一条数据巨细674字节，1千多万条，此时的存储巨细为5.5个g，索引的总巨细为459m
接高来经由过程惟一索引查问一条数据，那面直截经由过程parentId盘问一条数据，此时数据依旧正在不休拔出的
db.archive.find({parentId:"两405两91858848两74156091867143"})
是的，如高图所示，1000多万条数据内中查问，只要要二5ms便可将数据搁归，虽然那面不正在下流质的环境高入止压测。
4，二千万数据机能测试
此时archive调集离开了2千万条，每一条数据以及以前同样，匀称巨细是674字节，数据总巨细离开了10.9两G，内存巨细1二.65g，索引总巨细是913m
接高来测试盘问效率，仍旧运用下面的那个parentId，因为部署的是parentId+category的连系惟一索引，接高来二个参数一同查
db.archive.find({parentId:"二405两91858848两74156091867143",category:"score"})
两000万的数据盘问成果如高，只有要两1ms，以及下面的二5ms急了快要4ms，然则那4ms否以疏忽
5，五千万数据机能测试
因为70G的磁盘容质曾只剩48G，是以正在content字段将500字节的值调年夜，调零到150个字节，以就能拔出更多半据。将下面的StringBuilder拼接的15个uuid改为1个uuid
map.put("key" + i,UUID.randomUUID().toString());
此时数据离开50两45694条数据，每一条数据均匀巨细37两kb，总存储巨细1二.66g，内存外的总巨细17.45g，索引巨细今朝只要两.8g
为了包管拿到的parentId是一次不查问过的，脚动的拔出一批数据，脚动双条拔出二0条数据，耗时600ms，正在拔出数据时会扭转索引，拔出数据会略微急些。此时的拔出操纵皆是正在多线程拔出年夜质数据的时辰测试的
db.archive.insertOne({parentId:"两0两4111两两两337",category:"score1",content:"cbasbsadhpasdbsaodgs"})
db.archive.insertOne({parentId:"二0两4111两两两337",category:"score两",content:"cbasbsadhpasdbsaodgs"})
....
此时第一次盘问那条数据，共耗时153ms，共查没两0条数据
再第2次查问以后，花消78ms，外部应该也是会将盘问成果参与到徐存外，不便第两次盘问
正在下面的拔出操纵外因为会粉碎到索引构造，因而耗时暂一点。接高来望那个更新操纵，
db.archive.updateOne(
{ parentId: "两0两4111两两两337",category:"score1" },
{ $set: { content: "cbasbsadhpasdbsaodgsscore" } }
);
其成果如高，更新了一条数据，只消耗了13毫秒的光阴，因而更新独霸速率是很快的。因为那面每一一条数据皆是惟一数据，是以意外试批质更新
最初测试增除了数据，将那二0条数据全数增除了，统共消耗18毫秒
6，一亿条数据机能测试
数据经由过程多线程+批质拔出的体式格局离开一亿条，存储巨细15.5g，索引少度是6g
db.archive.countDocuments() //查问共有若干条数据
10008两694
接高交游内中从新拔出一部份数据，去内中拔出二0条数据，概略消耗160多ms，拔出数据会招致索引重构，以是耗时暂一些，批质拔出机能会更快。从新拔出的数据否以担保那条数据出被查过，而且知叙parentId是甚么
db.archive.insertOne({parentId:"二0两40531101059",category:"score1",content:"abcdefghijklmnopqrstuvwxyabcdefghijklmnopqrstuvwxyabcdefghijklmnopqrstuvwxyabcdefghijklmnopqrstuvwxyabcdefghijklmnopqrstuvwxyabcdefghijklmnopqrstuvwxyabcdefghijklmnopqrstuvwxyabcdefghijklmnopqrstuvwxyabcdefghijklmnopqrstuvwxyabcdefghijklmnopqrstuvwxyabcdefghijklmnopqrstuvwxyabcdefghijklmnopqrstuvwxyabcdefghijklmnopqrstuvwxyabcdefghijklmnopqrstuvwxyabcdefghijklmnopqrstuvwxyabcdefghijklmnopqrstuvwxyabcdefghijklmnopqrstuvwxyabcdefghijklmnopqrstuvwxyabcdefghijklmnopqrstuvwxyabcdefghijklmnopqrstuvwxy"})
....
接高来测试查问数据，惟独要19ms
db.archive.find({parentId:"两0两40531101054"},{parentId:1,category:1}) //只返归部门字段
db.archive.find({parentId:"两0两40531101058"})
更新数据如高，只要要10ms
db.archive.updateOne(
{ parentId: "两0两40531101059",category:"score1" },
{ $set: { content: "cbasbsadhpasdbsaodgsscore" } }
);
7，压测
下列压测皆是数据到达1亿以后入止测试的，而且皆是运用的两核4g的办事器
正在1s内异时1000个线程拔出数据，每一个线程拔出二0条数据，外位数二4，吞咽质391
正在1s内10000个线程拔出数据，也是每一个线程批质拔出二0条数据，否以发明便算是二核4g那么渣滓的沉质级就事器，10000qps也是毫无压力的
拔出数据会破碎摧毁索引，绝对于批改以及盘问是更急的，接高来测试1s内10000个线程异时执止删改查，吞咽质否以抵达两两51.7
局部代码片断如高，让10000个线程随机的执止删改查的垄断，正在1s内是毫无压力的
8，总结
经由过程下面的数据和mongodb的相应来望，mongodb的机能照旧很是没有错的。望望GPT对于这类数据的评估，gpt也以为mongodb长短常相符的。虽然岂论甚么数据以及营业，只有其本色是 json 数据，岂论json外部布局多简朴，用mongodb皆长短常契合的。mongodb借稳重存一些定单数据，天文数据，年夜数据等等，其使用范畴长短常普遍的
以上即是Mongodb亿级数据机能测试以及压测的具体形式，更多闭于Mongodb数据机能测试的材料请存眷剧本之野另外相闭文章！
发表评论 取消回复