1. 为什么需要向量数据库在信息爆炸的时代我们处理的数据越来越复杂。传统关系型数据库擅长处理结构化数据但当面对图片、音频、视频、文本等非结构化数据时就显得力不从心了。这就是向量数据库的用武之地 - 它能够将这些非结构化数据转换为高维向量并通过高效的相似度搜索找到最相关的结果。Milvus作为一款开源的向量数据库已经成为这个领域的佼佼者。它支持多种索引类型和距离度量方式能够轻松应对亿级向量的存储和检索。更重要的是它提供了Python SDK让开发者能够快速上手。提示如果你正在构建推荐系统、图像搜索、自然语言处理等需要相似度搜索的应用Milvus绝对值得一试。2. 环境准备与Docker部署2.1 系统要求在开始之前确保你的系统满足以下要求操作系统Linux/Windows/macOS推荐LinuxDocker版本19.03或更高内存至少8GB生产环境建议16GB以上存储SSD硬盘性能更佳2.2 Docker安装MilvusMilvus提供了官方Docker镜像部署非常简单。以下是单机版部署步骤# 拉取最新版本的Milvus镜像 docker pull milvusdb/milvus:latest # 创建存储数据的目录 mkdir -p /milvus/db # 运行Milvus容器 docker run -d --name milvus \ -p 19530:19530 \ -p 9091:9091 \ -v /milvus/db:/var/lib/milvus/db \ milvusdb/milvus:latest这个命令做了以下几件事从Docker Hub拉取最新的Milvus镜像创建本地目录用于持久化数据启动容器并映射必要的端口19530gRPC服务端口9091管理端口注意生产环境建议使用docker-compose部署可以更好地管理多个组件如etcd、minio等。2.3 验证安装安装完成后可以通过以下命令检查服务状态docker logs milvus如果看到类似下面的输出说明服务已正常启动[INFO][SERVER] Milvus server started successfully!3. Python客户端配置3.1 安装PyMilvusMilvus提供了Python SDK - PyMilvus可以通过pip安装pip install pymilvus建议使用虚拟环境来管理Python依赖python -m venv milvus-env source milvus-env/bin/activate # Linux/macOS milvus-env\Scripts\activate # Windows pip install pymilvus3.2 连接Milvus服务在Python中连接Milvus非常简单from pymilvus import connections # 连接到本地Milvus服务 connections.connect( aliasdefault, hostlocalhost, port19530 ) print(成功连接到Milvus!)如果连接失败检查以下几点Milvus容器是否正常运行端口映射是否正确防火墙是否阻止了连接4. 数据模型设计与集合创建4.1 理解Milvus数据模型Milvus的核心概念包括Collection相当于关系型数据库中的表Entity相当于表中的一行记录Field相当于表中的列Schema定义Collection的结构4.2 创建第一个Collection让我们创建一个用于存储商品特征的Collectionfrom pymilvus import FieldSchema, CollectionSchema, DataType, Collection # 定义字段 product_id FieldSchema( nameproduct_id, dtypeDataType.INT64, is_primaryTrue ) product_name FieldSchema( nameproduct_name, dtypeDataType.VARCHAR, max_length200 ) product_vector FieldSchema( nameproduct_vector, dtypeDataType.FLOAT_VECTOR, dim128 ) # 创建Schema schema CollectionSchema( fields[product_id, product_name, product_vector], description商品特征集合 ) # 创建Collection collection Collection( nameproducts, schemaschema ) print(Collection创建成功!)这段代码创建了一个包含三个字段的Collectionproduct_id主键整数类型product_name商品名称字符串类型product_vector128维的浮点向量提示向量维度(dim)需要根据你的嵌入模型确定。例如ResNet50生成2048维向量BERT生成768维向量。5. 数据操作CRUD实战5.1 插入数据向Collection中插入数据import random # 生成测试数据 num_entities 1000 product_ids [i for i in range(num_entities)] product_names [fproduct_{i} for i in range(num_entities)] product_vectors [[random.random() for _ in range(128)] for _ in range(num_entities)] # 准备插入数据 entities [ product_ids, product_names, product_vectors ] # 插入数据 insert_result collection.insert(entities) print(f成功插入{len(insert_result.primary_keys)}条数据)5.2 创建索引为了加速向量搜索我们需要创建索引index_params { index_type: IVF_FLAT, metric_type: L2, params: {nlist: 128} } collection.create_index( field_nameproduct_vector, index_paramsindex_params ) print(索引创建成功!)这里我们选择了IVF_FLAT索引类型它适合中小规模数据集。对于更大规模数据可以考虑IVF_PQ或HNSW。5.3 加载Collection到内存在进行搜索前需要将Collection加载到内存collection.load() print(Collection已加载到内存)5.4 向量相似度搜索现在我们可以进行相似度搜索了# 随机生成一个查询向量 query_vector [[random.random() for _ in range(128)]] # 设置搜索参数 search_params { metric_type: L2, params: {nprobe: 10} } # 执行搜索 results collection.search( dataquery_vector, anns_fieldproduct_vector, paramsearch_params, limit5, output_fields[product_id, product_name] ) # 打印结果 for hits in results: print(搜索结果:) for hit in hits: print(fID: {hit.entity.get(product_id)}, 名称: {hit.entity.get(product_name)}, 距离: {hit.distance})5.5 更新和删除数据更新数据# 更新product_name collection.delete(product_id in [1,2,3]) # 重新插入更新后的数据 new_entities [ [1, 2, 3], [new_product_1, new_product_2, new_product_3], [[random.random() for _ in range(128)] for _ in range(3)] ] collection.insert(new_entities) print(数据更新完成)删除数据# 删除product_id为1,2,3的数据 collection.delete(product_id in [1,2,3]) print(数据删除完成)6. 性能优化与最佳实践6.1 索引选择指南Milvus支持多种索引类型选择取决于你的数据规模和查询需求FLAT精确搜索适合小数据集IVF_FLAT平衡精度和速度适合中等规模IVF_PQ有损压缩适合大规模数据HNSW图结构索引适合高召回率场景6.2 批量操作技巧当处理大量数据时批量操作可以显著提高性能# 批量插入数据 batch_size 10000 for i in range(0, 100000, batch_size): batch_ids list(range(i, ibatch_size)) batch_names [fproduct_{j} for j in batch_ids] batch_vectors [[random.random() for _ in range(128)] for _ in batch_ids] collection.insert([batch_ids, batch_names, batch_vectors]) print(f已插入{ibatch_size}条数据)6.3 查询性能优化合理设置nprobe参数在搜索精度和性能之间取得平衡使用分区将数据划分为多个分区提高并行度定期压缩减少数据碎片提高查询效率7. 常见问题排查7.1 连接问题问题无法连接到Milvus服务解决方案检查Milvus容器是否运行docker ps检查端口映射docker port milvus检查防火墙设置7.2 索引构建失败问题创建索引时报错解决方案检查向量维度是否与schema定义一致确保有足够的内存尝试减小nlist参数值7.3 搜索结果不准确问题搜索结果不符合预期解决方案检查metric_type是否与索引一致调整nprobe参数确认向量是否正常化如果使用余弦相似度8. 实际应用案例8.1 图像搜索系统使用ResNet50提取图像特征存储到Milvus中from tensorflow.keras.applications.resnet50 import ResNet50, preprocess_input from tensorflow.keras.preprocessing import image import numpy as np # 加载预训练模型 model ResNet50(weightsimagenet, include_topFalse, poolingavg) def extract_features(img_path): img image.load_img(img_path, target_size(224, 224)) x image.img_to_array(img) x np.expand_dims(x, axis0) x preprocess_input(x) features model.predict(x) return features.flatten().tolist() # 提取特征并存入Milvus img_path example.jpg features extract_features(img_path) # 插入到Milvus collection.insert([[1001], [example.jpg], [features]])8.2 文本语义搜索使用BERT模型提取文本嵌入from transformers import BertModel, BertTokenizer import torch # 加载BERT模型 tokenizer BertTokenizer.from_pretrained(bert-base-uncased) model BertModel.from_pretrained(bert-base-uncased) def get_bert_embedding(text): inputs tokenizer(text, return_tensorspt, paddingTrue, truncationTrue) with torch.no_grad(): outputs model(**inputs) return outputs.last_hidden_state.mean(dim1).squeeze().tolist() # 获取文本向量 text This is a sample text for semantic search embedding get_bert_embedding(text) # 存入Milvus collection.insert([[2001], [text], [embedding]])9. 生产环境部署建议9.1 集群部署对于生产环境建议使用Milvus集群包含以下组件Milvus节点处理查询请求etcd元数据存储MinIO/Pulsar对象存储和消息队列可以使用官方提供的helm chart在Kubernetes上部署helm install my-milvus milvus/milvus9.2 监控与维护使用Prometheus监控集群状态定期备份元数据设置合理的资源限制9.3 数据迁移Milvus提供了数据导出/导入工具# 导出数据 milvus-backup export -h localhost -p 19530 -c products -o backup_dir # 导入数据 milvus-backup import -h localhost -p 19530 -c products_new -i backup_dir10. 进阶学习资源官方文档https://milvus.io/docsGitHub仓库https://github.com/milvus-io/milvus社区论坛https://discuss.milvus.io在实际项目中我发现合理设计schema和选择索引类型对性能影响最大。例如对于频繁更新的数据使用IVF_FLAT比HNSW更合适因为重建HNSW索引的开销很大。另外批量插入数据时适当调整insert的批次大小可以显著提高吞吐量。 
长河君 · 2026/11/4 3:01:36 · 阅读 1.2k Milvus向量数据库入门：Docker部署与Python实战
1. 为什么需要向量数据库在信息爆炸的时代我们处理的数据越来越复杂。传统关系型数据库擅长处理结构化数据但当面对图片、音频、视频、文本等非结构化数据时就显得力不从心了。这就是向量数据库的用武之地 - 它能够将这些非结构化数据转换为高维向量并通过高效的相似度搜索找到最相关的结果。Milvus作为一款开源的向量数据库已经成为这个领域的佼佼者。它支持多种索引类型和距离度量方式能够轻松应对亿级向量的存储和检索。更重要的是它提供了Python SDK让开发者能够快速上手。提示如果你正在构建推荐系统、图像搜索、自然语言处理等需要相似度搜索的应用Milvus绝对值得一试。2. 环境准备与Docker部署2.1 系统要求在开始之前确保你的系统满足以下要求操作系统Linux/Windows/macOS推荐LinuxDocker版本19.03或更高内存至少8GB生产环境建议16GB以上存储SSD硬盘性能更佳2.2 Docker安装MilvusMilvus提供了官方Docker镜像部署非常简单。以下是单机版部署步骤# 拉取最新版本的Milvus镜像 docker pull milvusdb/milvus:latest # 创建存储数据的目录 mkdir -p /milvus/db # 运行Milvus容器 docker run -d --name milvus \ -p 19530:19530 \ -p 9091:9091 \ -v /milvus/db:/var/lib/milvus/db \ milvusdb/milvus:latest这个命令做了以下几件事从Docker Hub拉取最新的Milvus镜像创建本地目录用于持久化数据启动容器并映射必要的端口19530gRPC服务端口9091管理端口注意生产环境建议使用docker-compose部署可以更好地管理多个组件如etcd、minio等。2.3 验证安装安装完成后可以通过以下命令检查服务状态docker logs milvus如果看到类似下面的输出说明服务已正常启动[INFO][SERVER] Milvus server started successfully!3. Python客户端配置3.1 安装PyMilvusMilvus提供了Python SDK - PyMilvus可以通过pip安装pip install pymilvus建议使用虚拟环境来管理Python依赖python -m venv milvus-env source milvus-env/bin/activate # Linux/macOS milvus-env\Scripts\activate # Windows pip install pymilvus3.2 连接Milvus服务在Python中连接Milvus非常简单from pymilvus import connections # 连接到本地Milvus服务 connections.connect( aliasdefault, hostlocalhost, port19530 ) print(成功连接到Milvus!)如果连接失败检查以下几点Milvus容器是否正常运行端口映射是否正确防火墙是否阻止了连接4. 数据模型设计与集合创建4.1 理解Milvus数据模型Milvus的核心概念包括Collection相当于关系型数据库中的表Entity相当于表中的一行记录Field相当于表中的列Schema定义Collection的结构4.2 创建第一个Collection让我们创建一个用于存储商品特征的Collectionfrom pymilvus import FieldSchema, CollectionSchema, DataType, Collection # 定义字段 product_id FieldSchema( nameproduct_id, dtypeDataType.INT64, is_primaryTrue ) product_name FieldSchema( nameproduct_name, dtypeDataType.VARCHAR, max_length200 ) product_vector FieldSchema( nameproduct_vector, dtypeDataType.FLOAT_VECTOR, dim128 ) # 创建Schema schema CollectionSchema( fields[product_id, product_name, product_vector], description商品特征集合 ) # 创建Collection collection Collection( nameproducts, schemaschema ) print(Collection创建成功!)这段代码创建了一个包含三个字段的Collectionproduct_id主键整数类型product_name商品名称字符串类型product_vector128维的浮点向量提示向量维度(dim)需要根据你的嵌入模型确定。例如ResNet50生成2048维向量BERT生成768维向量。5. 数据操作CRUD实战5.1 插入数据向Collection中插入数据import random # 生成测试数据 num_entities 1000 product_ids [i for i in range(num_entities)] product_names [fproduct_{i} for i in range(num_entities)] product_vectors [[random.random() for _ in range(128)] for _ in range(num_entities)] # 准备插入数据 entities [ product_ids, product_names, product_vectors ] # 插入数据 insert_result collection.insert(entities) print(f成功插入{len(insert_result.primary_keys)}条数据)5.2 创建索引为了加速向量搜索我们需要创建索引index_params { index_type: IVF_FLAT, metric_type: L2, params: {nlist: 128} } collection.create_index( field_nameproduct_vector, index_paramsindex_params ) print(索引创建成功!)这里我们选择了IVF_FLAT索引类型它适合中小规模数据集。对于更大规模数据可以考虑IVF_PQ或HNSW。5.3 加载Collection到内存在进行搜索前需要将Collection加载到内存collection.load() print(Collection已加载到内存)5.4 向量相似度搜索现在我们可以进行相似度搜索了# 随机生成一个查询向量 query_vector [[random.random() for _ in range(128)]] # 设置搜索参数 search_params { metric_type: L2, params: {nprobe: 10} } # 执行搜索 results collection.search( dataquery_vector, anns_fieldproduct_vector, paramsearch_params, limit5, output_fields[product_id, product_name] ) # 打印结果 for hits in results: print(搜索结果:) for hit in hits: print(fID: {hit.entity.get(product_id)}, 名称: {hit.entity.get(product_name)}, 距离: {hit.distance})5.5 更新和删除数据更新数据# 更新product_name collection.delete(product_id in [1,2,3]) # 重新插入更新后的数据 new_entities [ [1, 2, 3], [new_product_1, new_product_2, new_product_3], [[random.random() for _ in range(128)] for _ in range(3)] ] collection.insert(new_entities) print(数据更新完成)删除数据# 删除product_id为1,2,3的数据 collection.delete(product_id in [1,2,3]) print(数据删除完成)6. 性能优化与最佳实践6.1 索引选择指南Milvus支持多种索引类型选择取决于你的数据规模和查询需求FLAT精确搜索适合小数据集IVF_FLAT平衡精度和速度适合中等规模IVF_PQ有损压缩适合大规模数据HNSW图结构索引适合高召回率场景6.2 批量操作技巧当处理大量数据时批量操作可以显著提高性能# 批量插入数据 batch_size 10000 for i in range(0, 100000, batch_size): batch_ids list(range(i, ibatch_size)) batch_names [fproduct_{j} for j in batch_ids] batch_vectors [[random.random() for _ in range(128)] for _ in batch_ids] collection.insert([batch_ids, batch_names, batch_vectors]) print(f已插入{ibatch_size}条数据)6.3 查询性能优化合理设置nprobe参数在搜索精度和性能之间取得平衡使用分区将数据划分为多个分区提高并行度定期压缩减少数据碎片提高查询效率7. 常见问题排查7.1 连接问题问题无法连接到Milvus服务解决方案检查Milvus容器是否运行docker ps检查端口映射docker port milvus检查防火墙设置7.2 索引构建失败问题创建索引时报错解决方案检查向量维度是否与schema定义一致确保有足够的内存尝试减小nlist参数值7.3 搜索结果不准确问题搜索结果不符合预期解决方案检查metric_type是否与索引一致调整nprobe参数确认向量是否正常化如果使用余弦相似度8. 实际应用案例8.1 图像搜索系统使用ResNet50提取图像特征存储到Milvus中from tensorflow.keras.applications.resnet50 import ResNet50, preprocess_input from tensorflow.keras.preprocessing import image import numpy as np # 加载预训练模型 model ResNet50(weightsimagenet, include_topFalse, poolingavg) def extract_features(img_path): img image.load_img(img_path, target_size(224, 224)) x image.img_to_array(img) x np.expand_dims(x, axis0) x preprocess_input(x) features model.predict(x) return features.flatten().tolist() # 提取特征并存入Milvus img_path example.jpg features extract_features(img_path) # 插入到Milvus collection.insert([[1001], [example.jpg], [features]])8.2 文本语义搜索使用BERT模型提取文本嵌入from transformers import BertModel, BertTokenizer import torch # 加载BERT模型 tokenizer BertTokenizer.from_pretrained(bert-base-uncased) model BertModel.from_pretrained(bert-base-uncased) def get_bert_embedding(text): inputs tokenizer(text, return_tensorspt, paddingTrue, truncationTrue) with torch.no_grad(): outputs model(**inputs) return outputs.last_hidden_state.mean(dim1).squeeze().tolist() # 获取文本向量 text This is a sample text for semantic search embedding get_bert_embedding(text) # 存入Milvus collection.insert([[2001], [text], [embedding]])9. 生产环境部署建议9.1 集群部署对于生产环境建议使用Milvus集群包含以下组件Milvus节点处理查询请求etcd元数据存储MinIO/Pulsar对象存储和消息队列可以使用官方提供的helm chart在Kubernetes上部署helm install my-milvus milvus/milvus9.2 监控与维护使用Prometheus监控集群状态定期备份元数据设置合理的资源限制9.3 数据迁移Milvus提供了数据导出/导入工具# 导出数据 milvus-backup export -h localhost -p 19530 -c products -o backup_dir # 导入数据 milvus-backup import -h localhost -p 19530 -c products_new -i backup_dir10. 进阶学习资源官方文档https://milvus.io/docsGitHub仓库https://github.com/milvus-io/milvus社区论坛https://discuss.milvus.io在实际项目中我发现合理设计schema和选择索引类型对性能影响最大。例如对于频繁更新的数据使用IVF_FLAT比HNSW更合适因为重建HNSW索引的开销很大。另外批量插入数据时适当调整insert的批次大小可以显著提高吞吐量。