有朋友提到最近最近比较热门的pg数据库和AI结合,提到了PGAI和postgres.new,看了相关资料。 PDF文件:pgai和postgres.new FreeMind文件:pgai和postgres.new.mm
一次大量事务日志生产的链条分析
数据传输工具,在全量同步中,往往是并发执行的,dts有个重写逻辑,是: 1)DTS碰到死锁的时候,会当前session中重试,继续写入数据。比如:DTS一批写入1024条数据,写到第1000条失败了,会在当前session中继续从头写入这1024条数据。这个过程可能会出现数据重复写入,会发生主键冲突 […]
对移动云的数据库的一些调研
pdf文件: 海山数据库 FreeMind文件: 海山数据库
写思维导图吧
想记录的东西太多,但是又没有时间。用思维导图来记录吧。
sysbench报错max_prepared_stmt_count
在一个8c16g的阿里云mysql上进行sysbench,在run 压测的时候,报错max_prepared_stmt_count不够了:
1 |
sysbench oltp_read_write --mysql-host=rm-wedtteessttm.mysql.rds.aliyuncs.com --mysql-port=3306 --mysql-user=**** --mysql-password=********* --mysql-db=testdb --tables=30 --table-size=500000 --threads=64 --time=600 --report-interval=10 run |
max_prepared_stmt_count的值,可以参考下面的表格进行设置: 测试模型 p […]
阿里云dts过滤测试
用一个8c16g共享型的mysql,同步到4c8g的共享型mysql,利用sysbench 加载数据
1 |
sysbench oltp_read_write --mysql-host=rm-xyetdtwsoistegdhed.mysql.rds.aliyuncs.com --mysql-port=3306 --mysql-user=**** --mysql-password=***** --mysql-db=testdb --tables=30 --table-size=500000 --threads=30 prepare |
进行dts同步,dts选择的类型是small,从深圳到香港。 在配置任务对象时,对于table中的某个需要增加过滤条件的表,点击“编 […]
阿里云redis 主从版,HA切换步骤和耗时分解
阿里云redis 主从版,HA切换(节点A为原主实例,切换到节点B),步骤和耗时分解: 序号 耗时(单位:毫秒) 步骤名称 备注 1 6ms 开始Switchover到实例B的流程 2 44ms 重新获取链路上的主节点A 3 5ms 获取A原主的角色 4 0ms Kill原B节点上的连接 5 5ms […]
读书笔记-《Best Practices for Gathering Optimizer Statistics with Oracle Database 19c》
调整SET_TABLE_PREFS,按照表来单独设置,减低stale的百分比,比如变化1%就收集统计信息 调整 ESTIMATE_PERCENT的比例,不用AUTO_SAMPLE_SIZE,而用更低的采样比例 High-frequency Optimizer Statistics Collectio […]
多云用户,应该尽快切换到Valkey的使用
2024年3月20号,Redis Lab宣布,从redis 7.4开始,redis的开源协议,将从宽松的BSD协议,使用者可以任意使用和商用,转成SSPL v1(Server Side Public License)和RSAL v2(Redis Source Available License)协议 […]
谈谈向量数据库
最近公司里,向量数据库的需求越来越多。前几天请aws的诸位专家一起来开会讨论了一下,学到了不少知识。以下是我的心得和收获,仅代表我个人观点: 1. 知识库,图片识别,图片或视频近似度搜索,电商推荐等是很多公司的应用场景。 2. 向量计算,这其实每个数据库都可以拥有这个功能,向量近似度计算的方法:余弦 […]
简单谈谈aws limitless database
2023年11月27日,aws 宣布了他们的新的产品,aws无限数据库(limitless database)。我比较关注这个新产品,简单谈谈对他的看法。 大部分的信息,是来自于《AWS re:Invent 2023 – Monday Night Live Keynote with Pe […]
阿里云rds mysql更新证书的逻辑
证书更换的逻辑: 1. 只读节点是高可用版本的情况下(不适合只读节点是basic的版本), 先对只读节点的slave进行更新证书。 1.1 更新证书的过程,先把证书路径下的证书文件进行删除或者重命名。因为如果生成新证书时,在同一路径下存在同名文件,则创建失败。(证书路径是数据库中 show vari […]