Qdrant v1.14.1
1、版本亮点详解
1、写前日志(WAL)增量切片传输效率大幅提升 通过批处理机制和更精细的同步控制,qdrant显著加快了WAL增量写入的数据切片(shard)传输速度。这意味着数据复制和恢复时延缩短,集群状态同步更加流畅稳定。对分布式部署的用户尤为重要。
2、GPU索引构建速度优化 内部工单中,qdrant优化了GPU索引构建过程,针对与载荷(payload)相关的HNSW链接做了加速,同时实现了GPU资源的复用,避免了不必要的开销,为用户带来更快的索引体验。这种GPU层面的深度优化适合有GPU资源的高性能服务环境。
3、持久化机制重大革新:用内存映射(mmap)替代 RocksDB 可能是本次更新最大的亮点,qdrant团队提出用内存映射文件(mmap)替代之前的RocksDB做为持久化载荷索引存储方案。此举极大提升了载荷索引的加载速度,同时简化了存储层架构,降低IO延时。加载时间缩短意味着应用启动更快、查询响应更快速。
4、GridStore性能提升 GridStore作为qdrant的基础存储组件,这次也获得速度上的优化:
- 通过批量更新技巧,加快了数据刷写(flush)速度
- 通过告诉操作系统进行随机读取,优化了读取性能,使得数据访问的效率大幅提升。
5、IO/CPU资源调度升级 针对后台优化器,调整了IO和CPU资源的分配策略,#6487 则通过批量IO技术加快了分段合并过程,整体使索引构建和整理过程更加高效稳定。
6、文件读取的缓冲IO提升 的改进是增加文件读取缓冲,减少硬盘访问开销,为拥挤的IO环境带来了显著提升。
7、HNSW图构建规则优化 对启发式算法进行了改进,HNSW图的构造速度提升,用户在构造大规模索引时节省等待时间。
8、载荷索引条件性能优化 针对常用条件如isEmpty和!isNull建立了特定索引,大幅提升条件过滤性能。
9、S3上传并发限制 限制了向S3上传的并行度,避免高CPU机器出现网络错误,提高系统稳定性,适合云端部署用户。
10、集合数量配置限制 新增配置选项控制集合最大数量,方便用户根据资源合理规划存储结构。
2、重要Bug修复汇总
本次版本还针对多个严重Bug进行了修复,进一步保证系统运行的稳定性和数据一致性。
- 增强索引创建过程的原子性,避免索引不一致问题
- 提升了大批量分段查询的性能,解决性能退化
- 修正GridStore未释放全部块的问题,防止内存泄漏
- 严格模式下在group_by查询中未正确应用unindexed_filtering_retrieve的修复
- 修复严格模式search_allow_exact导致无主HNSW图分段无法全扫描的问题
- 中止被强制移除节点相关的切片迁移,增强集群健康维护能力
- 解决REST与gRPC在载荷upsert上行为不一致的问题,使得载荷覆盖始终正确写入
- 在优化失败时正确取消操作,确保集合状态一致
- 针对严格模式错误,改用HTTP 400替代403,避免Web UI频繁请求API Key
- 快照恢复时,确保一致性协议注册载荷索引,保障数据完整性
qdrant v1.14.1 是一款真正面向性能和稳定性的里程碑式版本,尤其在载荷索引的持久化改进和GPU加速构建方面树立了新标杆。来自社区和官方的全方位优化,让qdrant在激烈竞争的向量数据库领域继续保持领先优势。
Qdrant v1.14.0
1、版本亮点详解
1. 核心升级:Qdrant v1.14.0的杀手级功能
✅ 服务器端打分公式(Score Boosting)
- 用户现在可以自定义打分公式,直接通过服务器端计算提升特定向量的权重(比如付费内容置顶)。
- 对比竞品:Milvus需要额外插件,Weaviate依赖外部模型,而Qdrant原生支持,性能损耗更低!
✅ sum_scores推荐策略
- 新增的sum_scores策略非常适合相关性反馈场景(比如“猜你喜欢”),通过动态调整多向量权重优化结果。
- 对比竞品:Faiss和Chroma缺乏原生推荐策略,需手动实现,Qdrant直接内置!
✅ 增量HNSW构建
- 合并Segment时复用已有HNSW图,减少80%以上的索引重建时间。
- 对比竞品:Milvus的索引重建是全量式的,大数据集下延迟爆炸!
2. 性能优化:为什么Qdrant更适合生产环境?
🚀 磁盘缓存淘汰策略升级
- 更智能的缓存管理,避免内存浪费,实测查询吞吐量提升15%。
⚡ 并行化搜索
- 大Segment查询自动并行化,比Milvus的串行搜索快2-3倍。
🔧 崩溃恢复机制
- Shard恢复失败时自动加载“虚拟Shard”,保证服务不中断。
- 对比竞品:Elasticsearch遇到类似问题直接报错,Qdrant的鲁棒性更强!
3. 实测对比:Qdrant v1.14.0 vs 其他向量数据库
特性 | Qdrant v1.14.0 | Milvus 2.3 | Weaviate 1.22 |
---|---|---|---|
服务器端打分 | ✅ 原生支持 | ❌ 需插件 | ❌ 依赖外部模型 |
增量HNSW | ✅ 大幅降延迟 | ❌ 全量重建 | ❌ 无此功能 |
推荐策略 | ✅ sum_scores | ❌ 无 | ❌ 需自定义 |
崩溃恢复 | ✅ 虚拟Shard | ❌ 服务中断 | ⚠️ 部分支持 |
结论:Qdrant在实时性和稳定性上优势明显,特别适合电商推荐、AIGC等高并发场景!
Qdrant v1.13.6
1、版本亮点详解
查询API性能飞跃
- 改进点:在分片级别统一读取向量和负载数据,避免重复分段读取。
- 效果:当索引存在大量分段时,搜索性能显著提升,尤其适合高并发场景下的语义搜索和推荐系统。
- 网络优化:减少内部网络传输的大向量数据量,通过延迟读取策略降低带宽压力。
集群扩展效率提升
- 数据迁移加速:优化了分片转移(resharding)的磁盘和内存管理,即使在慢速磁盘或高内存压力下,迁移速度仍能保持稳定。
2、重要Bug修复汇总
分片迁移更可靠:修复了分片转移中的进度估算问题,现在ETA显示更准确,避免运维人员误判任务时间。
排序功能完善:修复了order_by在多值场景下的遗漏问题,确保排序结果完整覆盖所有关联数据,提升复杂查询的准确性。
- 本文固定链接: http://www.jiagou.cc/1462/
- 转载请注明: 摘星怪 于 架构迷 发表