MySQL|MySQL 亿级数据迁移之迁移策略 MySQL亿级数据迁移之迁移策略

步骤子项目提供数据同步接口，可根据情况选择同步的线程数以及批量插入的数据量。
具体步骤：

全量迁移：搬迁当前库中所有的历史数据（新项目提供数据迁移的接口，可批量迁移数据，该过程会搬掉库中大部分数据）
增量迁移：记录全量迁移开始的时间，搬迁全量迁移过程中变更了的数据
数据比对：通过接口比对 Cassandra 和 MySQL 中的数据，最终数据一致性达到一定99.99%以上
开双写：通过数据比对确保全量迁移和增量迁移没问题以后，打开双写。如果双写有问题，数据比对还可以发现双写中的问题。
切 Cassandra 读：确保双写没问题以后，关闭MySQL写。

测试结果 Spring-data-cassandra

5个线程，每个线程150条数据，一个小时，808万条数据，13.4万/分钟
5个线程，每个线程500条数据，15分钟，274万条数据，22.8万/分钟
使用 Spring-data-cassandra 连接驱动时速度过慢，检查后发现，Spring-data-cassandra 的API中，批量插入操作，内部实现是一条一条插入的

Cassandra-driver
在本机运行，修改 Cassandra 并发读和并发写的线程数为32，每次批量数据大小为5000kb,读写超时提醒为500000毫秒，测试结果如下：

使用一个节点

10个线程，MySQL每次查询5000条，每次插入1000条，三分钟，137万 45.6万/分1000万条数据 21.9分钟 10个线程，MySQL每次查询5000条，每次插入2000条，两分钟，76万 38万/分1000万条数据 26.3分钟 6个线程，MySQL每次查询5000条，每次插入2000条，二分钟，99万 50万/分1000万条数据 20分钟 6个线程，MySQL每次查询5000条，每次插入5000条，一分钟，52万 52万/分1000万条数据 19.2分钟 5个线程，MySQL每次查询5000条，每次插入1000条，7分钟，400万 57万/分1000万条数据 17.5分钟 5个线程，MySQL每次查询5000条，每次插入2000条，一分钟，56万 56万/分1000万条数据 17.8分钟 5个线程，MySQL每次查询5000条，每次插入5000条，一分钟，36万 36万/分1000万条数据 27.7分钟
增加到两个节点：

5个线程，MySQL每次查询5000条，每次插入5000条，十分钟，790万 79万/分1000万条数据12.6分钟 5个线程，MySQL每次查询10000条，每次插入5000条，十分钟，632万 63.2万/分 1000万条数据15.8分钟 10个线程，MySQL每次查询5000条，每次插入5000条，十分钟，650万 65万/分1000万条数据15.3分钟
关闭commitLog，两个节点

5个线程，MySQL每次查询5000条，每次插入5000条，十分钟，760万 76万/分1000万条数据13.1分钟
关闭commitLog，一个节点

5个线程，MySQL每次查询5000条，每次插入5000条，十分钟，690万 69万/分 1000万条数据14.5分钟 5个线程，MySQL每次查询5000条，每次插入5000条，2.5分钟，110万，44万/分 1000万条数据22.7分钟 5个线程，MySQL每次查询1000条，每次插入5000条，3分钟，133万， 44万/分 1000万条数据22.7分钟 5个线程，MySQL每次查询10000条，每次插入5000条，3分钟，84万， 28万/分 1000万条数据35.7分钟 10个线程，MySQL每次查询10000条，每次插入5000条，2分钟，87万， 43.5万/分 1000万条数据22.9分钟
服务器上运行，三个节点

5个线程，MySQL每次查询10000条，每次插入5000条， 80万/分钟 1000万条数据12.5分钟 5个线程，MySQL每次查询20000条，每次插入5000条， 85万/分钟 1000万条数据11.8分钟 5个线程，MySQL每次查询10000条，每次插入10000条， 80万/分钟 1000万条数据12.5分钟 10个线程，MySQL每次查询10000条，每次插入5000条， 76万/分钟 1000万条数据13.1分钟