数据库分库分表-白红宇

数据库分库分表

阅读量：5247 次

发布时间：2019-06-14

本文共 1873 字，大约阅读时间需要 6 分钟。

对数据库进行分库分表的原因
超大容量：
数据表是超大表，数据库处理能力达到极限；
数据库包含多个超大表。
性能问题：
单一服务器性能有限
升级扩展：
单一主库无法灵活地进行升级和扩展，无法满足业务快速发展的需求
所有业务数据都放在同一个库中，存在单点故障风险。

数据库拆分
将表按照业务拆分到不同的数据库服务器上，同时针对大表进行分表处理，从而解决单一数据库和数据表过大及IO服务连接数和IO读写上的瓶颈。
常见的拆分方法有：垂直拆分、水平拆分、垂直水平拆分

垂直拆分
垂直分库：根据业务耦合性，将关联度低的不同表存储在不同的数据库。做法与大系统拆分为多个小系统类似，按业务分类进行独立划分。与"微服务治理"的做法相似，每个微服务使用单独的一个数据库。
垂直分表：基于数据库中的"列"进行，某个表字段较多，可以新建一张扩展表，将不经常用或字段长度较大的字段拆分出去到扩展表中。在字段很多的情况下（例如一个大表有100多个字段），通过"大表拆小表"，更便于开发与维护，也能避免跨页问题，MySQL底层是通过数据页存储的，一条记录占用空间过大会导致跨页，造成额外的性能开销。另外数据库以行为单位将数据加载到内存中，这样表中字段长度较短且访问频率较高，内存能加载更多的数据，命中率更高，减少了磁盘IO，从而提升了数据库性能。
优点：(1)解决业务系统层面的耦合。(2)业务清晰与微服务的治理类似，也能对不同业务的数据进行分级管理、维护、监控、扩展等。(3)高并发场景下，垂直切分一定程度的提升IO、数据库连接数、单机硬件资源的瓶颈。
缺点：(1)部分表无法join，只能通过接口聚合方式解决，提升了开发的复杂度。(2)分布式事务处理复杂。(3)依然存在单表数据量过大的问题（需要水平切分）。

水平拆分
水平切分分为库内分表和分库分表，是根据表内数据内在的逻辑关系，将同一个表按不同的条件分散到多个数据库或多个表中，每个表中只包含一部分数据，从而使得单个表的数据量变小，达到分布式的效果。
优点：（1）不存在单库数据量过大、高并发的性能瓶颈，提升系统稳定性和负载能力.（2）应用端改造较小，不需要拆分业务模块。
缺点：（1）跨分片的事务一致性难以保证.（2）跨库的join关联查询性能较差.（3）数据多次扩展难度和维护量极大。
水平切分后同一张表会出现在多个数据库/表中，每个库/表的内容不同。几种典型的数据分片规则为：
1）根据数值范围
按照时间区间或ID区间来切分。例如：按日期将不同月甚至是日的数据分散到不同的库中；将userId为1~9999的记录分到第一个库，10000~20000的分到第二个库，以此类推。某种意义上，某些系统中使用的"冷热数据分离"，将一些使用较少的历史数据迁移到其他库中，业务功能上只提供热点数据的查询，也是类似的实践。
这样的优点在于：（1）单表大小可控。（2）天然便于水平扩展，后期如果想对整个分片集群扩容时，只需要添加节点即可，无需对其他分片的数据进行迁移。（3）使用分片字段进行范围查找时，连续分片可快速定位分片进行快速查询，有效避免跨分片查询的问题。
缺点：热点数据成为性能瓶颈。连续分片可能存在数据热点，例如按时间字段分片，有些分片存储最近时间段内的数据，可能会被频繁的读写，而有些分片存储的历史数据，则很少被查询。
2）根据数值取模
一般采用hash取模mod的切分方式，例如：将 Customer 表根据 cusno 字段切分到4个库中，余数为0的放到第一个库，余数为1的放到第二个库，以此类推。这样同一个用户的数据会分散到同一个库中，如果查询条件带有cusno字段，则可明确定位到相应库去查询。
优点：数据分片相对比较均匀，不容易出现热点和并发访问的瓶颈
缺点：（1）后期分片集群扩容时，需要迁移旧的数据（使用一致性hash算法能较好的避免这个问题）（2）容易面临跨分片查询的复杂问题。比如上例中，如果频繁用到的查询条件中不带cusno时，将会导致无法定位数据库，从而需要同时向4个库发起查询，再在内存中合并数据，取最小集返回给应用，分库反而成为拖累。