如何理解机器学习中的向量？

如何理解机器学习中的向量？

引用

CSDN

1.

https://blog.csdn.net/liruiqiang05/article/details/145116438

向量是机器学习中的核心概念，用于表示数据、特征或其他数学结构。从数学上看，向量是一个有序数列，可以表示为几何空间中的一个点或方向。在机器学习中，向量承载着信息的表示、计算和模型学习等重要功能。本文将详细介绍机器学习中向量的各个方面。

向量的数学定义

从数学上看，向量是一个有序数列，可以表示为：

• 向量可以看作是几何空间中的一个点或方向。

向量在机器学习中的意义

数据表示

在机器学习中，向量通常用来表示样本数据或特征：

空间表示

向量可以视为数据在 n-维空间中的点：

• 在二维空间，向量是一个平面上的点。
• 在三维或更高维空间，向量对应更复杂的几何结构。
• 向量之间的关系（如距离、方向）反映了数据样本之间的相似性或差异。

模型参数

• 在机器学习模型中，参数通常以向量形式表示。
• 优化算法（如梯度下降）通过调整参数向量来最小化损失函数。

特征变换

向量还可以表示数据的特征变换。例如：

• 将文本表示为词向量（Word Embedding）。
• 主成分分析（PCA）中，将高维向量投影到低维空间。

向量的操作

向量的基本运算

向量之间的关系

• 距离（欧几里得距离）：表示两个向量在几何空间中的距离：

• 余弦相似度：衡量两个向量方向的相似性（而非大小）：

向量在机器学习中的应用

数据特征化

数据向量化是机器学习的核心步骤。例如：

• 文本处理：将句子或文档表示为向量（如 TF-IDF 或词嵌入）。
• 图像处理：将图像像素值转换为向量。

模型计算

模型中的输入、输出、权重和梯度通常以向量形式表示：

• 线性回归的预测公式： y=w⋅x+b
• 神经网络中的张量运算，本质上是多维向量的计算。

相似性计算

在推荐系统或信息检索中，向量用于计算相似性：

• 用户和商品的特征向量用于推荐。
• 文本向量化后计算语义相似度。

向量与高维空间

高维向量

• 机器学习中，向量的维度常常很高（如文本处理中的词袋模型可能有数千维或更多）。
• 高维向量的特点：
• 数据稀疏（大多数分量为零）。
• 可视化困难。

维度灾难

随着向量维度的增加，样本之间的距离趋于均匀，模型可能难以区分数据。

• 常用方法：
• 降维：如 PCA、t-SNE。
• 特征选择：选择重要特征，减少维度。

向量在深度学习中的扩展

词嵌入（Word Embedding）

• 自然语言处理（NLP）中，将单词表示为稠密向量，捕捉语义信息（如 Word2Vec、GloVe）。
• 示例：单词 "king" 的向量可能类似于 "queen"。

特征嵌入

• 在推荐系统中，将用户和物品表示为向量，并通过向量间的相似性进行推荐。

张量

• 向量可以看作是张量的一种形式（1维张量）。在深度学习中，张量表示更高维度的数据结构。

理解向量的直观类比

• 向量是容器：它存储了描述一个对象的多个属性。
• 示例：描述一个人的向量可能是 [年龄,身高,体重][年龄, 身高, 体重]。
• 向量是方向：在几何中，向量可以表示方向和大小；在机器学习中，向量也可以表示某种趋势或特征组合。

总结

向量在机器学习中是表示和计算的基础单位，无论是描述数据、参数优化，还是特征抽象，都离不开向量的作用。理解向量不仅是掌握机器学习的数学基础，也是深入学习高阶算法和模型的必要准备。

本文原文来自CSDN博客