aws跨vpc或者跨账号的rds mysql迁移

一个500GB的mysql数据库,需要做跨vpc的迁移,可以有下面的方法: 1. mysqldump做导出导入,需要一个能连通vpc A和vpc B的机器,做跳板机,且要准备比较大的空间放导出文件。 准备时间:准备申请一个跳板机,开通跳板机连通2个vpc的操作时间。需要负责计算资源的同学和负责数据库 […]

Continue Reading

一次大量事务日志生产的链条分析

数据传输工具,在全量同步中,往往是并发执行的,dts有个重写逻辑,是: 1)DTS碰到死锁的时候,会当前session中重试,继续写入数据。比如:DTS一批写入1024条数据,写到第1000条失败了,会在当前session中继续从头写入这1024条数据。这个过程可能会出现数据重复写入,会发生主键冲突 […]

Continue Reading

sysbench报错max_prepared_stmt_count

在一个8c16g的阿里云mysql上进行sysbench,在run 压测的时候,报错max_prepared_stmt_count不够了:

max_prepared_stmt_count的值,可以参考下面的表格进行设置: 测试模型 p […]

Continue Reading

阿里云dts过滤测试

用一个8c16g共享型的mysql,同步到4c8g的共享型mysql,利用sysbench 加载数据

进行dts同步,dts选择的类型是small,从深圳到香港。 在配置任务对象时,对于table中的某个需要增加过滤条件的表,点击“编 […]

Continue Reading

谈谈向量数据库

最近公司里,向量数据库的需求越来越多。前几天请aws的诸位专家一起来开会讨论了一下,学到了不少知识。以下是我的心得和收获,仅代表我个人观点: 1. 知识库,图片识别,图片或视频近似度搜索,电商推荐等是很多公司的应用场景。 2. 向量计算,这其实每个数据库都可以拥有这个功能,向量近似度计算的方法:余弦 […]

Continue Reading