本文介绍了向量数据库的分类、必要性及其主要优势详细阐述了向量数据库的工作原理包括核心机制、索引结构、搜索机制和功能。此外还列举了常用向量数据库并提供了实战案例帮助读者全面了解和应用向量数据库技术。一、向量数据库的分类在人工智能AI主导的时代文字、图像、语音、视频等多模态数据的复杂性显著增加。由于这些数据具有非结构化和多维特征向量表示能够有效表示语义和捕捉其潜在的语义关系促使向量数据库成为存储、检索和分析高维数据向量的关键工具。向量数据库的分类依据是否开源与是否为专用向量数据库将其分为四类开源的专用向量数据库如 Chroma、Vespa、LanceDB、Marqo、Qdrant 和 Milvus这些数据库专门设计用于处理向量数据。支持向量搜索的开源数据库如 OpenSearch、PostgreSQL、ClickHouse 和 Cassandra它们是常规数据库但支持向量搜索功能。商用的专用向量数据库如 Weaviate 和 Pinecone它们专门用于处理向量数据但属于商业产品或通过商业许可获得源码。支持向量搜索的商用数据库如 Elasticsearch、Redis、Rockset 和 SingleStore这些常规数据库支持向量搜索功能同时属于商业产品或可通过商业许可获得源码。二、为什么需要向量数据库传统数据库通常分为关系型SQL数据库和非关系型NoSQL数据库其中存储复杂、非结构化或半结构化信息的需求主要依赖于非关系型数据库的能力。图中展示了三种非关系型数据库类型与向量数据库键值数据库Key-Value通常用于简单的数据存储通过键来快速访问数据。文档数据库Document用于存储文档结构的数据如 JSON 格式。图数据库Graph用于表示和存储复杂的关系数据常用于社交网络、推荐等场景。向量数据库Vector用于存储和检索基于向量表示的数据用于 AI 模型的高维度和复杂的嵌入向量。2.1、什么场景下该选择什么样的数据库示例1如果你想要找到一本特定的书只需通过书名来精准定位信息键值数据库是最理想的选择。示例2如果你需要查询一本书的详细章节内容、作者简介等复杂的结构化信息文档数据库则更为适用。示例3如果你的目标是了解书籍之间的推荐关系或者探索作者之间的合作网络图数据库可以高效存储和查询这些复杂的关系数据。示例4如果你希望找到与某本书内容相似的书籍比如基于主题、风格等特征进行相似性搜索向量数据库则能够通过计算书籍内容语义在向量空间中的距离为你提供语义最相关的数据信息。2.2、向量数据库的主要优势向量数据库的核心在于其能够基于向量之间的相似性快速、精确地定位和检索数据。这类数据库不仅为向量嵌入提供了优化的存储和查询功能同时也继承了传统数据库的诸多优势如性能、可扩展性和灵活性满足了充分利用大规模数据的需求。相比之下传统的基于标量的数据库由于无法应对数据复杂性和规模化处理的挑战难以有效提取洞察并实现实时分析。优势体现在以下几个方面数据管理向量数据库提供了易于使用的数据存储功能如插入、删除和更新操作。与独立的向量索引工具如 Faiss相比这使得向量数据的管理和维护更加简便因为 Faiss 需要额外的工作才能与存储解决方案集成。元数据存储和筛选向量数据库能够存储与每个向量条目关联的元数据用户可以基于这些元数据进行更细粒度的查询从而提升查询的精确度和灵活性。可扩展性向量数据库设计旨在应对不断增长的数据量和用户需求支持分布式和并行处理并通过无服务器架构优化大规模场景下的成本。实时更新向量数据库通常支持实时数据更新允许动态修改数据以确保检索结果的时效性和准确性。备份与恢复向量数据库具备完善的备份机制能够处理数据库中所有数据的例行备份操作确保数据的安全性与持久性。生态系统集成向量数据库能够与数据处理生态系统中的其他组件如 ETL 管道中的 Spark、分析工具如 Tableau 和 Segment、可视化平台如 Grafana轻松集成从而简化数据管理工作流程。此外它还能够无缝集成 AI 相关工具如 LangChain、LlamaIndex 和 Cohere进一步增强其应用潜力。数据安全与访问控制向量数据库通常提供内置的数据安全功能和访问控制机制以保护敏感信息。通过命名空间实现的多租户管理允许用户对索引进行完全分区甚至可以在各自的索引中创建完全隔离的分区确保数据的安全性和访问的灵活性。由于其上述特性向量数据库可以广泛应用于 LLM RAG 系统、推荐系统、异常检测、计算机视觉、自然语言处理等多种 AI 产品生产场景中。综上所述向量数据库是一类专门为生产场景下的向量嵌入管理而构建的数据库。与传统的基于标量的数据库及独立的向量索引相比向量数据库在性能、可扩展性、安全性和生态系统集成等方面展现了显著的优势为现代数据管理提供了强有力的支持。三、向量数据库是如何工作的向量数据库是一种专门用于存储和检索多维向量的数据库类型与传统的基于行列结构的数据库不同它主要处理高维空间中的数据点。传统数据库通常处理字符串、数字等标量数据并通过精确匹配来查询数据。然而向量数据库的操作逻辑则是基于相似性搜索即在查询时应用特定的相似性度量如余弦相似度、欧几里得距离等来查找与查询向量最相似的向量。3.1、向量数据库的核心向量数据库的核心在于其高效的索引和搜索机制。为了优化查询性能它采用了如哈希、量化和基于图形的多种算法。这些算法通过构建如层次化可导航小世界HNSW图、产品量化PQ和位置敏感哈希LSH等索引结构显著提升了查询速度。这种搜索过程并非追求绝对精确而是通过近似最近邻ANN算法在速度与准确性之间进行权衡从而实现快速响应。3.2、 向量数据库的索引结构向量数据库的索引结构可以理解为一种预处理步骤类似于为图书馆中的书籍编制索引方便快速找到所需内容。HNSW 图通过在多层结构中将相似向量连接在一起快速缩小搜索范围。PQ 则通过压缩高维向量减少内存占用并加速检索而 LSH 则通过哈希函数将相似向量聚集在一起便于快速定位。3.3、向量数据库的搜索机制向量数据库的搜索机制不是追求精确匹配而是通过近似最近邻ANN算法在速度与准确性之间找到最佳平衡。ANN 算法通过允许一定程度的误差在显著提高搜索速度的同时依然能够找到与查询相似度较高的向量。这种策略对于需要实时、高精度响应的应用场景尤为重要。3.4、向量数据库的工作流程向量数据库的工作流程涵盖了从数据处理、向量化、向量存储、向量索引到最终检索的全链条操作确保在复杂的数据环境中实现高效的存储、索引和相似性搜索。具体流程如下数据处理与向量化原始数据首先被处理并转化为向量嵌入。这一步通过嵌入模型实现模型利用深度学习算法提取数据的语义特征生成适合后续处理的高维向量表示。向量存储转化后的向量嵌入存储在数据库中。这一环节确保数据在高效检索的同时能够以优化的方式管理和维护存储资源以适应不同规模和复杂度的应用需求。向量索引存储的向量嵌入需要经过索引处理以便在后续查询中快速定位相关数据。索引过程通过构建特定的结构使得数据库能够在大规模数据集上实现高效的查询响应。向量搜索在接收到查询后数据库通过已建立的索引结构执行相似性搜索找出与查询向量最为接近的数据点。这一阶段的重点在于平衡搜索的速度与准确性确保在大数据环境下提供快速且相关的查询结果。常见的向量搜索方法包括余弦相似度、欧几里得距离和曼哈顿距离。数据检索最后数据库从匹配的向量中检索出对应的原始数据并根据特定的需求进行必要的后处理。这一步骤确保最终结果能够准确反映用户的查询意图并提供有意义的输出。3.5、向量数据库的主要功能在 RAG 系统中向量数据库起着重要的作用。其主要功能在于索引过程中建立高效的向量索引结构以便快速定位与查询相关的向量数据。在查询阶段系统将输入的提示转化为向量表示形式并从数据库中检索出与之最相关的向量及其对应的分块数据。通过这种索引和检索机制检索到的向量为生成模型提供了必要的上下文信息使模型能够依据当前的语义上下文生成更加精准和相关的响应。四、常用向量数据库下面列出十个目前主流的向量数据库展示其数据库链接、介绍、优点与缺点。根据开发者具体的使用场景和技术需求选择最适合的向量数据库解决方案是关键。根据上面所示特点对于需要快速开发和轻量化部署的项目Chroma、Qdrant 是不错的选择。对于追求高性能和可扩展性的企业级应用可以考虑 Milvus/Zilliz。FAISS 是适合对性能有极致要求、不要求持久化和数据管理的场景。Weaviate、LanceDB 在处理多模态数据方面表现突出适用于需要管理多种数据类型如图像、文本、音频等的 AI 应用。如果需要无缝集成现有数据库并进行向量搜索PGVector、Elasticsearch、Redis 是理想的方案。不希望管理基础设施的用户则可以选择 Pinecone 这样的全托管服务。五、向量数据库实战使用 Chroma 作为 RAG 项目的向量库以替代原先无法持久化的 Faiss 库。Chroma 是一种简单且易于持久化的向量数据库它以轻量级、开箱即用的特性著称。Chroma 支持内存中操作和磁盘持久化能够高效地管理和查询向量数据非常适合快速集成和开发。其设计简洁且不需要复杂的配置使开发者能够专注于核心功能的实现而无需担心底层存储的复杂性。本章节的代码文件为 rag_app_lesson5.py。创建并激活虚拟环境若已创建则无需重复执行python3 -m venv rag_env执行依赖库安装命令本课时对应的是 ChromaDB 库source rag_env/bin/activate pip install -U pip chromadb langchain langchain_community sentence-transformers dashscope unstructured pdfplumber python-docx python-pptx markdown openpyxl pandas -i https://pypi.tuna.tsinghua.edu.cn/simple执行代码python rag_app/rag_app_lesson5.py该章节涉及的代码改动均已在 rag_app_lesson5.py 文件中添加详细注释主要包括以下内容引入 Chroma 向量数据库 chromadb引入 uuid 模块用于为每个文本块生成唯一的 ID。在 main 方法中创建了 Chroma 本地存储实例 client 和存储集合 collection实例数据库存储在相对路径 rag_app/chroma_db 下数据存储在 documents 集合中。在 indexing_process 方法中将文档切块后的文本块的 ID、嵌入向量和原始文本块内容存储到 ChromaDB 的 documents 集合中。在 retrieval_process 方法中使用 Chroma 向量数据库检索与查询query最相似的 top_k 个文本块。具体代码改动如下引入依赖库import chromadb # 引入 Chroma 向量数据库 import uuid # 生成唯一ID import shutil # 文件操作模块为了避免既往数据的干扰在每次启动时清空 ChromaDB 存储目录中的文件main 方法def main(): print(RAG过程开始.) # 为了避免既往数据的干扰在每次启动时清空 ChromaDB 存储目录中的文件 chroma_db_path os.path.abspath(rag_app/chroma_db) if os.path.exists(chroma_db_path): shutil.rmtree(chroma_db_path) # 创建ChromaDB本地存储实例和collection client chromadb.PersistentClient(chroma_db_path) collection client.get_or_create_collection(namedocuments) embedding_model load_embedding_model() indexing_process(rag_app/data_lesson3, embedding_model, collection) query 下面报告中涉及了哪几个行业的案例以及总结各自面临的挑战 retrieval_chunks retrieval_process(query, collection, embedding_model) generate_process(query, retrieval_chunks) print(RAG过程结束.)indexing_process 方法def indexing_process(folder_path, embedding_model, collection): all_chunks [] all_ids [] for filename in os.listdir(folder_path): file_path os.path.join(folder_path, filename) if os.path.isfile(file_path): document_text load_document(file_path) if document_text: print(f文档 {filename} 的总字符数: {len(document_text)}) text_splitter RecursiveCharacterTextSplitter(chunk_size512, chunk_overlap128) chunks text_splitter.split_text(document_text) print(f文档 {filename} 分割的文本Chunk数量: {len(chunks)}) all_chunks.extend(chunks) # 生成每个文本块对应的唯一ID all_ids.extend([str(uuid.uuid4()) for _ in range(len(chunks))]) embeddings [embedding_model.encode(chunk, normalize_embeddingsTrue).tolist() for chunk in all_chunks] # 将文本块的ID、嵌入向量和原始文本块内容添加到ChromaDB的collection中 collection.add(idsall_ids, embeddingsembeddings, documentsall_chunks) print(嵌入生成完成向量数据库存储完成.) print(索引过程完成.) print()retrieval_process 方法def retrieval_process(query, collection,embedding_modelNone,top_k6): query_embeddingembedding_model.encode(query,normalize_embeddingsTrue).tolist()# 使用向量数据库检索与query最相似的top_k个文本块resultscollection.query(query_embeddings[query_embedding],n_resultstop_k)print(f查询语句: {query})print(f最相似的前{top_k}个文本块:)retrieved_chunks[]# 打印检索到的文本块ID、相似度和文本块信息fordoc_id, doc, scoreinzip(results[ids][0], results[documents][0], results[distances][0]): print(f文本块ID: {doc_id})print(f相似度: {score})print(f文本块信息:\n{doc}\n)retrieved_chunks.append(doc)print(检索过程完成.)print(********************************************************)returnretrieved_chunks最后对于正在迷茫择业、想转行提升或是刚入门的程序员、编程小白来说有一个问题几乎人人都在问未来10年什么领域的职业发展潜力最大答案只有一个人工智能尤其是大模型方向当下人工智能行业正处于爆发式增长期其中大模型相关岗位更是供不应求薪资待遇直接拉满——字节跳动作为AI领域的头部玩家给硕士毕业的优质AI人才含大模型相关方向开出的月基础工资高达5万—6万元即便是非“人才计划”的普通应聘者月基础工资也能稳定在4万元左右。再看阿里、腾讯两大互联网大厂非“人才计划”的AI相关岗位应聘者月基础工资也约有3万元远超其他行业同资历岗位的薪资水平对于程序员、小白来说无疑是绝佳的转型和提升赛道。对于想入局大模型、抢占未来10年行业红利的程序员和小白来说现在正是最好的学习时机行业缺口大、大厂需求旺、薪资天花板高只要找准学习方向稳步提升技能就能轻松摆脱“低薪困境”抓住AI时代的职业机遇。如果你还不知道从何开始我自己整理一套全网最全最细的大模型零基础教程我也是一路自学走过来的很清楚小白前期学习的痛楚你要是没有方向还没有好的资源根本学不到东西下面是我整理的大模型学习资源希望能帮到你。扫码免费领取全部内容1、大模型学习路线2、从0到进阶大模型学习视频教程从入门到进阶这里都有跟着老师学习事半功倍。3、 入门必看大模型学习书籍文档.pdf书面上的技术书籍确实太多了这些是我精选出来的还有很多不在图里4、AI大模型最新行业报告2026最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5、面试试题/经验【大厂 AI 岗位面经分享107 道】【AI 大模型面试真题102 道】【LLMs 面试真题97 道】6、大模型项目实战配套源码适用人群四阶段学习规划共90天可落地执行第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…扫码免费领取全部内容3、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】