分类目录归档：数据库

2024
09-05

【原创】缩减大数据量Redis集群主从数据同步时间的解决方案

问题描述 随着公司业务量得大幅增长，还有某些业务系统将redis当成数据库使用，不设置key过期时间，导致现在生产环境的一些redis集群容量越来越大，最大的集群目前已经使用1T+的内存空间，集群中单节点数据大小更是达到40G+，如此大的数据量对日常的运维工作产生以下影响： 单节点数.... Read More >

2024
08-27

Redis集群迁移槽点报错：[WARNING] Node xx.xx.xx.xx:6379 has slots in importing state 306

1、现象 Redis集群迁移数据，分配槽点时遇到以下报错：[root@sink ~]# redis-cli --cluster rebalance --cluster-use-empty-masters 172.0.1.1:6379 Performing Cluster Check (.... Read More >

2024
06-04

Redis集群 cluster-migration-barrier 参数含义验证

背景描述 cluster-migration-barrier属性可以保证redis集群中不会出现裸奔的主节点（这个主节点没有对应的从节点），当某个主节点的从节点挂掉裸奔后，会从其他富余的主节点分配一个从节点过来，确保每个主节点都有至少一个从节点，不至于因为主节点挂掉而没有相应从节点替换为主节.... Read More >

2024
06-03

01-Redis运维必备工具之：RedisShake

RedisShake 简介 RedisShake 基本介绍 RedisShake是基于redis-port基础上进行改进的是一款开源的Redis迁移工具，支持Cluster集群的在线迁移与离线迁移（备份文件导入）。数据可平滑迁移，当部署在其他云厂商Redis服务上的Cluster集群数.... Read More >

2024
05-31

docker-compose 安装向量数据库qdrant v1.9.7

Qdrant 简介 Qdrant 是专为扩展过滤支持而设计的向量相似度搜索引擎和向量数据库，这使得它适用于各种基于神经网络的语义匹配、图像搜索等应用。 Qdrant 使用 Rust 🦀 编写，即使在高负载下也能快速、可靠地工作。 Qdrant 架构 上图展示了 Qd.... Read More >

2024
05-29

[ Redis ] 重要知识点备忘录

Redis 所有历史版本更新信息 3.2 版本：https://raw.githubusercontent.com/antirez/redis/3.2/00-RELEASENOTES 4.0 版本：https://raw.githubusercontent.com/antirez/redis.... Read More >

2024
05-22

Redis 架构原理01：持久化机制和实现原理

一、Redis 持久化的意义 redis的数据全部在内存中，如果突然宕机，数据就会全部丢失，因此必须有一种机制来保证redis的数据发生突发状况时不会丢失、或者只丢失少量，于是必须根据一些策略来把redis内存中的数据写到磁盘中，这样当redis服务重启时，就会将硬盘中的数据恢复到内存中。R.... Read More >

2024
05-22

Docker Compose milvus 2.2.8 升级到2.3.15 版本

一、官方升级方案 官方升级文档：https://milvus.io/docs/v2.3.x/upgrade_milvus_standalone-docker.md 根据官方文档上写的，升级主要是以下几点： 1、在milvus v2.2.5版本以后，MinIO 的版本升级到了 RE.... Read More >

2024
05-16

Redis 避坑01：SpringBoot 2.X+Lettuce在Cluster master主从切换后报错：Redis command timed out

一、异常场景 如下表所示，redis集群6个节点分别部署在3台机器上，每台机器分布一个主节点和一个从节点 机器redis主节点端口redis从节点端口主机170017004主机270037006主机370057002 将主机1关闭，redis集群发生主从切换，从节点7006升级为.... Read More >

2024
05-06

01-Milvus 基础知识点大全

1、Milvus简介 1.1、什么是 Milvus Milvus 是一款云原生向量数据库，它具备高可用、高性能、易拓展的特点，用于海量向量数据的实时召回。 Milvus 基于 FAISS、Annoy、HNSW 等向量搜索库构建，核心是解决稠密向量相似度检索的问题。在向量.... Read More >