最近公司里，向量数据库的需求越来越多。前几天请aws的诸位专家一起来开会讨论了一下，学到了不少知识。以下是我的心得和收获，仅代表我个人观点： 1. 知识库，图片识别，图片或视频近似度搜索，电商推荐等是很多公司的应用场景。 2. 向量计算，这其实每个数据库都可以拥有这个功能，向量近似度计算的方法：余弦 […]
简单谈谈aws limitless database
2023年11月27日，aws 宣布了他们的新的产品，aws无限数据库（limitless database）。我比较关注这个新产品，简单谈谈对他的看法。 大部分的信息，是来自于《AWS re:Invent 2023 – Monday Night Live Keynote with Pe […]
阿里云rds mysql更新证书的逻辑
证书更换的逻辑： 1. 只读节点是高可用版本的情况下（不适合只读节点是basic的版本）， 先对只读节点的slave进行更新证书。 1.1 更新证书的过程，先把证书路径下的证书文件进行删除或者重命名。因为如果生成新证书时，在同一路径下存在同名文件，则创建失败。（证书路径是数据库中 show vari […]
谈谈这次阿里云香港可用区C故障
阿里云在上周日（2022-12-18）发生了发生了香港region的可用区C的大规模故障，阿里云自己在也微信公共账号贴出了处理过程，服务影响，问题分析和改进措施。（《关于阿里云香港Region可用区C服务中断事件的说明》） 我使用阿里云不算多也不算少，2000个不到的实例，rds的mysql、pg、 […]
阿里云的rds的几个问题的探究
1. 阿里云的pg一键上云，其实是调用了pg_basebackup，这个功能不仅仅可以用在一键上云上，还能用在rds pg到rds pg的小版本升级上。 2. 阿里云的pg大版本升级过程： （一）准备阶段： 2.1 界面发起大版本升级； 2.2 原实例snapshot（注，需要打开秒级备份功能，不然 […]
pg_hba.conf文件的策略顺序
原来一直以为这个文件中，每一行的顺序是没有区别的，但是最近的一个需求，研究时发现，原来这个文件对登录的会话，是从上往下依次判断的： 具体的规则是：
|
1 2 3 |
1. 登录的会话，会顺着pg_hba.conf的策略一条一条往下走。 2. 如果遇到匹配到的规则，那么做成判断，是信任，还是拒绝，还是验证密码。后续就不往下走继续判断规则了。 3. 如果某一条规则不符合，没匹配成功，就继续往下走，继续做判断，直到所有的规则都判断完毕。 |
因此，如果我有一个用于备份的用户，叫anybackup（爱数备份软件），由于权限设置的 […]
数据库IO链路访问图
从千年虫bug的问题谈开去
最近微软又爆了一个千年虫的bug，微软FIP-FS反恶意软件扫描引擎由于Year 2022漏洞导致Exchange服务器无法发送邮件。 另外，本田、讴歌汽车也爆了Y2K22千年虫漏洞。 这是因为，在程序中，或者数据库中，字段类型定义成int32字段类型。而int32，一共32位，第一位表示符号，因此 […]
减少mysqlbackup 对IO压力的影响
通常情况下，我们总是系统备份的速度是越快越好。 但是，有时候这会导致IO压力，我们需要削峰处理。 我之前写过一个减少rman备份对OLTP系统的影响，其实mysql的备份（使用 MySQL Enterprise Backup）也可以采用类似的方法： 我们在mysqlbackup命令中，添加sleep […]
为什么说不要在pg 12前，用原生hash分区
pg在11之前，有原生的range分区和list分区，但是没有原生的hash分区。 hash分区是需要通过pg_pathman插件来实现。 如果你从原来pg 10版本+pg_pathman实现hash分区，且分区数比较多，比如1024个分区，那么到你升级到pg 11之后，如果采用了原生分区，你会发现 […]
SQL Server数据文件结构
Data file 结构： 第一个extent:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
page 0 : File Header，注m_type = 15，Metadata: ObjectId = 99 page 1 : PFS( page free space)，注m_type = 11，Metadata: ObjectId = 99 page 2 : GAM ( global allocation map)，注m_type = 8，Metadata: ObjectId = 99，每个GAM管理4GB的页面，所以每隔4GB大小的页面，会有一个GAM。 page 3 : SGAM ( shared global allocation map)，注m_type = 9，Metadata: ObjectId = 99 page 4 : 空的，注m_type = 0，Metadata: ObjectId = 0 page 5 : 空的，注m_type = 0，Metadata: ObjectId = 0 page 6 : DCM（differential change map），注m_type = 16，Metadata: ObjectId = 99 page 7 ：BCM（bulk change map），注m_type = 17，Metadata: ObjectId = 99 |
注意，如果大temp文件（一个超过4G）的page latch，往往是在temp数据文件的第一个extent的第2个page上，其争用可以用下面的sql监控： [crayon-6790 […]
How to upgrade aws rds postgresql
## 0. Read the summary of upgrade pg https://docs.aws.amazon.com/zh_cn/AmazonRDS/latest/UserGuide/USER_UpgradeDBInstance.PostgreSQL.html ## 1. Prepare […]