深度学习入门：从机器学习基础到深度学习核心概念

深度学习入门：从机器学习基础到深度学习核心概念

引用

CSDN

1.

https://m.blog.csdn.net/sadworlds/article/details/145952625

机器学习和深度学习是当前热门的技术领域，它们在图像识别、自然语言处理、推荐系统等多个领域都有广泛的应用。本文将从基础知识开始，逐步介绍这些技术的核心概念和原理，帮助读者建立对机器学习和深度学习的基本认知。

机器学习基础知识

1. 深度学习是什么？

深度学习是机器学习的一个子集，利用多层神经网络从大量数据中进行学习。

2. 机器学习基本原理

传统系统是通过输入规则和数据然后输出答案，而机器学习是通过输入答案和数据进行学习，从而输入规则。

3. 机器学习算法简介

• 一般是基于数学，或者统计学的方法，具有很强的可解释性。
• 这里简述几个经典的传统机器学习算法。
• KNN, 决策树，朴素贝叶斯

KNN： K最近邻居（K-Nearest Neighbors，简称KNN）

一种监督学习算法，用于分类和回归问题。它的基本思想是通过测量不同数据点之间的距离来进行预测。

KNN的工作原理可以概括为以下几个步骤：

1. 距离度量： KNN使用距离度量（通常是欧氏距离）来衡量数据点之间的相似性。
2. 确定邻居数量K（不同的邻居数量往往会造成不同的投票结果）
3. 投票机制

决策树(Decision Tree)

是从一组无次序、无规则，但有类别标号的样本集中推导出的、树形表示的分类规则。

一般的，一棵决策树包含一个根结点、若干个内部结点（中间结点）和若干个叶子结点。

树的叶子结点表示类别标号，即分类属性的取值，；也可以说是决策结果树的内部结点为条件属性，每个结点包含的样本集合根据属性测试结果被划分到子结点中；根结点包含样本全集。从树根到叶子结点的一条路径称为一条决策规则，它可以对未知数据进行分类或预测。每条有向边都用其出点的属性值标记。

通常，一个属性有多少种取值，就从该结点引出多少条有向边，每一条边代表属性的一种取值。

树深度是树根到树叶的最大层数，通常作为决策树模型复杂度的一种度量。

但是决策树不善于处理未见过的特征。

朴素贝叶斯

朴素贝叶斯分类器是一种基于贝叶斯定理的机器学习算法，常用于文本分类和其他类型的分类问题。它被称为“朴素”，是因为它假设特征之间是相互独立的，这意味着给定分类的条件下，每个特征发生的概率都是独立的。尽管这个假设在现实中很少成立，但朴素贝叶斯仍然是一个强大且有效的分类器，特别是在文本分类等应用中表现出色。

原理

利用贝叶斯公式计算出后验概率作为分类的判断依据。

1. 计算先验概率

先验概率 P（A）：在没有任何其他信息的情况下，某个类别或事件发生的概率。在贝叶斯分类器中，先验概率通常通过统计训练数据集中各类别的出现频率来估计。

2. 计算条件概率

条件概率：指在给定某个条件下，某一事件发生的概率。它表示了事件A在事件B已经发生的条件下发生的概率。

3. 计算后验概率

后验概率：指在考虑了新的信息或证据后，重新计算某一事件发生的概率。它是基于先前的先验概率和新的证据，通过贝叶斯定理进行更新后得到的概率。

贝叶斯定理：

总结：机器学习，具有数学上的可解释性，但准确率不是百分百，且不灵活

深度学习的定义：

深度学习（Deep Learning）是一种基于人工神经网络的机器学习技术，通过模拟人脑神经元之间的联系和活动方式，来实现对输入数据进行分析、抽象和处理的能力。通俗来讲就是设计一个很深的网络架构让机器自己学。

常见的神经网络的输入， 一般有三种数据形式。

1. 向量
2. 矩阵/张量
3. 序列

我们想要的输出(任务类别)一般也有下面几种。

1. 回归任务： 根据以前的温度推测明天的温度大概有多高。
2. 分类任务： 图片： 猫/狗。 句子： 积极/消极。 疾病： 轻度/中度/重度。
3. 生成任务（结构化输出）：文章文档

深度学习任务
分类和回归是结构化的基础。 分类时， 是用数字来表示类别。 有的时候需要多个模态的数据， 比如 图片， 文字， 声音。

如何开始深度学习

如何定义一个函数（model）？

1. 根据数据随机定义一个线性函数
   w,b为自变量

2. 计算Loss

3. Optimization（优化）
   梯度下降算法
   梯度大，移动的远，梯度小，移动的近
   𝜂: learning rate 超参数

线性函数与多层神经元

（下节预告）
深度学习网络