一文讲透什么是向量数据库？
一文讲透什么是向量数据库？
向量数据库是AI时代的重要基础设施之一，它通过将数据转换为向量嵌入，实现了更精准的语义搜索和数据检索。本文将为您详细解析向量数据库的核心概念、工作原理及其在AI应用中的重要作用。
向量数据库是一种组织有序的向量嵌入集合，整合了可以随时创建、读取、更新和删除的向量嵌入。向量嵌入将数据块（例如文本或图像）表示为数值。
什么是嵌入模型？
嵌入模型会将各种数据（例如文本、图像、图表和视频）转换为数值向量，以便捕捉其在多维向量空间中的含义和细微差别。嵌入技术的选择取决于应用需求，同时要兼顾语义深度、计算效率、要编码的数据的类型、维度等因素。
man、king、woman 和 queen 这几个词映射到的向量空间（来源：baeldung）
通过将向量映射到多维空间，可以对向量的语义相似性进行细致的分析，从而显著提高搜索和数据分类的准确性。在使用 AI 聊天机器人、大语言模型（LLM）、检索增强生成（RAG）和向量数据库的 AI 应用中以及在搜索引擎和许多其他用例中，嵌入模型发挥着至关重要的作用。
嵌入模型如何与向量数据库搭配使用？
提取私有企业数据后，系统会将这些数据分块，创建一个向量来表示它们，并将数据块及其对应的向量同可选的元数据一起存储在向量数据库中，以供日后检索。
嵌入模型用于提取数据及理解用户提示
在收到用户、聊天机器人或 AI 应用发来的查询后，系统会对其进行解析，并使用嵌入模型来获取代表提示的各个部分的向量嵌入。然后，使用提示的向量在向量数据库中执行语义搜索，以找到确切匹配或相似度排名前 K 位的向量及其相应的数据块，这些数据块会被放入到提示的上下文中，然后被发送给 LLM。
LangChain 和 LlamaIndex 都是热门的开源框架，支持创建 AI 聊天机器人和 LLM 解决方案。热门的 LLM 包括 OpenAI GPT 和 Meta LlaMA。热门的向量数据库包括 Pinecone 和 Milvus 等。两大热门编程语言是 Python 和 TypeScript。
向量数据库中的相似性搜索是什么？
相似性搜索（也称为向量搜索、向量相似性搜索或语义搜索）是指人工智能应用程序根据指定的相似性度量标准，从数据库中高效地检索与给定查询的向量嵌入在语义上相似的向量的过程：
- 欧几里得距离：测量各点之间的直接距离。这对于总体差异至关重要的密集特征集的聚类或分类非常有用。
- 余弦相似度：关注向量之间的角度。非常适合文本处理和信息检索，根据方向（而非传统的距离）捕获语义相似性。