Working case – OracleBlog

阿里云dts带过滤的同步，sqlserver到mysql更新不能删除的问题

2024-12-03 没有评论

在测试阿里云的sqlserver到mysql的dts同步，且是带过滤条件的同步，发现更新有个“能增不能减”的问题。在做带过滤的update，把过滤字段更新成其他值，目标端只能增不能减。—— 即过滤字段update成过滤条件，在目标端会增加改行记录；过滤字段从符合过滤条件update成不符合过滤条件 […]

..experience, Working case

阿里云的高权限用户

2024-10-18 2条评论

开发希望多个系统联调，能自己在一个大集中环境部署一个数据库，然后创建多个实例。那么是可以在一个数据库中配置一个类似的高权限用户（该用户和高权限用户一样权限，但是在界面中看到是普通用户），然后再建库和建用户的。

-- 创建应用管理用户app_admin：
create user app_admin identified by <passwd>;

-- 对应用管理用户授权：
grant ALTER,ALTER ROUTINE,CREATE,
CREATE VIEW,CREATE ROUTINE,CREATE USER,
CREATE TEMPORARY TABLES,DELETE,DROP,EVENT,
EXECUTE,INDEX,INSERT,LOCK TABLES,PROCESS,RELOAD,
REFERENCES,REPLICATION SLAVE,REPLICATION CLIENT
,SELECT,SHOW VIEW,TRIGGER,UPDATE 
on *.*
to app_admin WITH GRANT OPTION;



-- 用应用管理用户app_admin连接，进行创建各个数据库，并进行授权：

-- 创建数据库和每个库testdb<n>对应的用户app_rw<n>
create database testdb2 character set utf8mb4;
create user app_usr2 identified by <passwd>; 

--授权
grant 
ALTER,ALTER ROUTINE,CREATE,CREATE TEMPORARY TABLES,
CREATE VIEW,CREATE ROUTINE,DELETE,DROP,EVENT,EXECUTE,
INSERT,INDEX,LOCK TABLES,REFERENCES,
SELECT,SHOW VIEW,TRIGGER,UPDATE
on testdb2.*
to app_usr2;

grant PROCESS,REPLICATION SLAVE,REPLICATION CLIENT on *.* to app_usr2;

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

-- 创建应用管理用户app_admin：

create user app_admin identified by <passwd>;

-- 对应用管理用户授权：

grant ALTER,ALTER ROUTINE,CREATE,

CREATE VIEW,CREATE ROUTINE,CREATE USER,

CREATE TEMPORARY TABLES,DELETE,DROP,EVENT,

EXECUTE,INDEX,INSERT,LOCK TABLES,PROCESS,RELOAD,

REFERENCES,REPLICATION SLAVE,REPLICATION CLIENT

,SELECT,SHOW VIEW,TRIGGER,UPDATE

on *.*

to app_admin WITH GRANT OPTION;

-- 用应用管理用户app_admin连接，进行创建各个数据库，并进行授权：

-- 创建数据库和每个库testdb<n>对应的用户app_rw<n>

create database testdb2 character set utf8mb4;

create user app_usr2 identified by <passwd>;

--授权

grant

ALTER,ALTER ROUTINE,CREATE,CREATE TEMPORARY TABLES,

CREATE VIEW,CREATE ROUTINE,DELETE,DROP,EVENT,EXECUTE,

INSERT,INDEX,LOCK TABLES,REFERENCES,

SELECT,SHOW VIEW,TRIGGER,UPDATE

on testdb2.*

to app_usr2;

grant PROCESS,REPLICATION SLAVE,REPLICATION CLIENT on *.* to app_usr2;

注意PROCESS,RE […]

..experience, Working case

aws跨vpc或者跨账号的rds mysql迁移

2024-10-15 没有评论

一个500GB的mysql数据库，需要做跨vpc的迁移，可以有下面的方法： 1. mysqldump做导出导入，需要一个能连通vpc A和vpc B的机器，做跳板机，且要准备比较大的空间放导出文件。准备时间：准备申请一个跳板机，开通跳板机连通2个vpc的操作时间。需要负责计算资源的同学和负责数据库 […]

..experience, Working case

一次大量事务日志生产的链条分析

2024-08-29 没有评论

数据传输工具，在全量同步中，往往是并发执行的，dts有个重写逻辑，是： 1）DTS碰到死锁的时候，会当前session中重试，继续写入数据。比如：DTS一批写入1024条数据，写到第1000条失败了，会在当前session中继续从头写入这1024条数据。这个过程可能会出现数据重复写入，会发生主键冲突 […]

..experience, Working case

对移动云的数据库的一些调研

2024-08-26 没有评论

pdf文件：海山数据库 FreeMind文件：海山数据库

..experience, Working case

sysbench报错max_prepared_stmt_count

2024-08-19 没有评论

在一个8c16g的阿里云mysql上进行sysbench，在run 压测的时候，报错max_prepared_stmt_count不够了：

sysbench oltp_read_write --mysql-host=rm-wedtteessttm.mysql.rds.aliyuncs.com --mysql-port=3306 --mysql-user=**** --mysql-password=********* --mysql-db=testdb --tables=30 --table-size=500000 --threads=64 --time=600 --report-interval=10 run

1	sysbench oltp_read_write --mysql-host=rm-wedtteessttm.mysql.rds.aliyuncs.com --mysql-port=3306 --mysql-user=** --mysql-password=******* --mysql-db=testdb --tables=30 --table-size=500000 --threads=64 --time=600 --report-interval=10 run

max_prepared_stmt_count的值，可以参考下面的表格进行设置：测试模型 p […]

..experience, Working case

阿里云dts过滤测试

2024-08-06 没有评论

用一个8c16g共享型的mysql，同步到4c8g的共享型mysql，利用sysbench 加载数据

sysbench oltp_read_write --mysql-host=rm-xyetdtwsoistegdhed.mysql.rds.aliyuncs.com --mysql-port=3306 --mysql-user=**** --mysql-password=***** --mysql-db=testdb --tables=30 --table-size=500000 --threads=30 prepare

1	sysbench oltp_read_write --mysql-host=rm-xyetdtwsoistegdhed.mysql.rds.aliyuncs.com --mysql-port=3306 --mysql-user=** --mysql-password=*** --mysql-db=testdb --tables=30 --table-size=500000 --threads=30 prepare

进行dts同步，dts选择的类型是small，从深圳到香港。在配置任务对象时，对于table中的某个需要增加过滤条件的表，点击“编 […]

..experience, Working case

阿里云redis 主从版，HA切换步骤和耗时分解

2024-08-01 没有评论

阿里云redis 主从版，HA切换（节点A为原主实例，切换到节点B），步骤和耗时分解：序号耗时（单位：毫秒）步骤名称备注 1 6ms 开始Switchover到实例B的流程 2 44ms 重新获取链路上的主节点A 3 5ms 获取A原主的角色 4 0ms Kill原B节点上的连接 5 5ms […]

..experience, Working case

多云用户，应该尽快切换到Valkey的使用

2024-05-07 没有评论

2024年3月20号，Redis Lab宣布，从redis 7.4开始，redis的开源协议，将从宽松的BSD协议，使用者可以任意使用和商用，转成SSPL v1（Server Side Public License）和RSAL v2（Redis Source Available License）协议 […]

..experience, Working case

谈谈向量数据库

2024-01-18 没有评论

最近公司里，向量数据库的需求越来越多。前几天请aws的诸位专家一起来开会讨论了一下，学到了不少知识。以下是我的心得和收获，仅代表我个人观点： 1. 知识库，图片识别，图片或视频近似度搜索，电商推荐等是很多公司的应用场景。 2. 向量计算，这其实每个数据库都可以拥有这个功能，向量近似度计算的方法：余弦 […]

..experience, Working case

简单谈谈aws limitless database

2023-12-01 没有评论

2023年11月27日，aws 宣布了他们的新的产品，aws无限数据库（limitless database）。我比较关注这个新产品，简单谈谈对他的看法。大部分的信息，是来自于《AWS re:Invent 2023 – Monday Night Live Keynote with Pe […]

..experience, Working case

阿里云rds mysql更新证书的逻辑

2023-11-22 没有评论

证书更换的逻辑： 1. 只读节点是高可用版本的情况下（不适合只读节点是basic的版本），先对只读节点的slave进行更新证书。 1.1 更新证书的过程，先把证书路径下的证书文件进行删除或者重命名。因为如果生成新证书时，在同一路径下存在同名文件，则创建失败。（证书路径是数据库中 show vari […]