如何制定高效处理Mysql大型数据表的策略?
- 内容介绍
- 文章标签
- 相关推荐
本文共计4784个文字,预计阅读时间需要20分钟。
场景:当我们的业务数据库表中的数据越来越多,如果你也和我遇到了以下类似场景,那就让我们一起解决这个问题。
问题:数据的插入、查询时长过长;后续业务需求的扩展;在表中新增字段;影响”。
场景:
当我们业务数据库表中的数据越来越多,如果你也和我遇到了以下类似场景,那让我们一起来解决这个问题
- 数据的插入,查询时长较长
- 后续业务需求的扩展 在表中新增字段 影响较大
- 表中的数据并不是所有的都为有效数据 需求只查询时间区间内的
评估表数据体量
我们可以从表容量/磁盘空间/实例容量三方面评估数据体量,接下来让我们分别展开来看看
表容量:
表容量主要从表的记录数、平均长度、增长量、读写量、总大小量进行评估。一般对于OLTP的表,建议单表不要超过2000W行数据量,总大小15G以内。访问量:单表读写量在1600/s以内
查询行数据的方式: 我们一般查询表数据有多少数据时用到的经典sql语句如下:
- select count(*) from table
- select count(1) from table 但是当数据量过大的时候,这样的查询就可能会超时,所以我们要换一种查询方式
上述方法不仅可以查询表的数据,还可以输出表的详细信息 , 加 \G 可以格式化输出。
本文共计4784个文字,预计阅读时间需要20分钟。
场景:当我们的业务数据库表中的数据越来越多,如果你也和我遇到了以下类似场景,那就让我们一起解决这个问题。
问题:数据的插入、查询时长过长;后续业务需求的扩展;在表中新增字段;影响”。
场景:
当我们业务数据库表中的数据越来越多,如果你也和我遇到了以下类似场景,那让我们一起来解决这个问题
- 数据的插入,查询时长较长
- 后续业务需求的扩展 在表中新增字段 影响较大
- 表中的数据并不是所有的都为有效数据 需求只查询时间区间内的
评估表数据体量
我们可以从表容量/磁盘空间/实例容量三方面评估数据体量,接下来让我们分别展开来看看
表容量:
表容量主要从表的记录数、平均长度、增长量、读写量、总大小量进行评估。一般对于OLTP的表,建议单表不要超过2000W行数据量,总大小15G以内。访问量:单表读写量在1600/s以内
查询行数据的方式: 我们一般查询表数据有多少数据时用到的经典sql语句如下:
- select count(*) from table
- select count(1) from table 但是当数据量过大的时候,这样的查询就可能会超时,所以我们要换一种查询方式
上述方法不仅可以查询表的数据,还可以输出表的详细信息 , 加 \G 可以格式化输出。

