MySQL每秒57万的写入,快还是慢?

  • 时间:
  • 浏览:0

四、测试表

计算一下每秒写入下行速度 :

文件大小:

另外测试几种场景也供我们歌词 我们歌词 参考: 就让我在TokuDB中使用带自增的主键,主键无值让MySQL内控 产生写入下行速度 ,下降比较明显,同样写入2亿数据,蕴含自建主键:

三、XeLabs TokuDB介绍

关于TokuDB Bulk Loader :

关于TokuDB Bulk Loader前提要求,你这个表是空表,对于自增列,如自增列有值的情况表下,也前要使用。 建议实际使用中,就让我自增列有值的情况表下,前要考虑去除自增属性,改成唯一索引,就让我 减少自增的统统解决逻辑,让TokuDB能跑地快一点 统统。 另外在Bulk Loader解决中为了追求快一点 速的写入,压缩方面并否有很好。

文件大小在5倍大小的区别。

利用TokuDB在某云环境中8核8G内存,30G高速云盘环境,多次测试前要轻松实现515万每秒的写入量。

原文发布时间为:2019-1-8

本文作者:吴炳锡

本文来自云栖社区合作者者伙伴“ 数据和云 ”,了解相关信息前要关注“ OraNews”微信公众号

对于单表20亿, 在MySQL运维,说真的这块目前涉及得比较少,也基本没哪几个经验,但对于InnoDB单表Insert 就让我内存大于数据情况表下,前要维持在115万-115万行写入。 但统统时间我们歌词 我们歌词 接受的项目还是数据超过内存的。 这里使用XeLabs TokuDB做另另一一五个多测试。

支持Xtrabackup备份;

一、需求

相对官方TokuDB的优化:

支持TokuDB的binlog_group_commit内控 ;

表内控 :

同样的数据写入在主键自增无值产生时,那末使用TokuDB的 Bulk loader data内控 ,大慨转换为了单条的Insert实现,统统效果上慢不多。

实际文件8.5G,写入TokuDB大小3.5G,就让我接近于一半多点的压缩量。 对于20亿数据写入,实际测试在58分钟多点就前要完成。前要满足实际需求,另外对于磁盘IO比较好的机器(SSD类盘,云上的云盘),就让我内存和数据差不多情况表,这量级数据量测试在Innodb里前要添加自增列,前要在五个小多统统完成。 从最佳实战上来看,Innodb和TokuDB都写入同样的数据,InnoDB前要花大慨是TokuDB3-4倍时间。文件大小区别,同样20亿数据:

利用load data写入数据:

另另一一五个多我们歌词 我们歌词 接到另另一一五个多需求,从大数据平台收到另另一一五个多数据写入在20亿+,前要快速地加载到MySQL中,供第十天业务展示使用。

TokuDB核心配置:

引入更多的内置的TokuDB性能指标;

项目地址: https://github.com/XeLabs/tokudb

引入ZSTD压缩算法;

https://github.com/percona/PerconaFT/wiki/TokuFT-Bulk-Loader

二、实现再分析

测试结论:

内置了jemalloc 内存分配;