机器学习基本知识：场景与方法使用指南
机器学习基本知识：场景与方法使用指南
机器学习是人工智能领域的一个重要分支，它使计算机能够在不进行明确编程的情况下从数据中学习。本文将从机器学习的定义出发，介绍其基本概念、应用场景和常用方法，帮助读者快速了解这一前沿技术。
1.1 什么是机器学习
工程化定义：
一个计算机程序利用经验E来学习任务T，性能是P，如果针对任务T的性能P随着经验E不断增长，则称为机器学习。
——汤姆·米切尔(Tom Mitchell)，1997
- 训练集：系统用来学习的样例
- 训练实例（样本）：每个训练样例
- 模型：机器学习系统中学习和做出预测的部分
例如，垃圾邮件过滤器就是一个机器学习程序，它可以根据给定的垃圾邮件（由用户标记）和普通电子邮件（非垃圾邮件，也称为ham）学习标记垃圾邮件。
在这个示例中，任务T是标记新邮件是否为垃圾邮件，经验E是训练数据，需要定义性能度量P，例如，你可以使用正确分类电子邮件的比率。这种特殊的性能指标称为精度(accuracy)，通常用于分类任务。
如果你只是下载所有维基百科文章的副本，那么虽然你的计算机会拥有更多的数据，但它并不会突然变得更擅长任何任务。这不是机器学习。
1.2 为什么要使用机器学习
- 传统方法：需要根据需求条件的变化，不断调整编程的内容以满足需求
- 机器学习：面对变化的需求，能够发现需求前后变动的相似性，做出一定改变以适应需求变化
机器学习亮点：
- 自适应变化（适应需求在一定程度上的变化）
- 自我学习（可从一个小需求扩展到一类大需求）
- 根据已学习到的数据，预测未来趋势（数据挖掘应用）——>帮助人类学习
数据挖掘：机器学习模型经过足够多训练后，列出预测的各种组合，有时候这会揭示意想不到的相关性或新趋势，从而更好地理解问题。挖掘大量数据来发现隐藏的模式称为数据挖掘，机器学习擅长于此。
机器学习的适用领域
- 现有解决方案需要有大量微调或一长串规则来解决的问题（机器学习模型通常可以简化代码并且比传统方法执行得更好）。
- 使用传统方法无法解决的复杂问题（最好的机器学习技术可能会找到解决方案）。
- 变化的环境（机器学习系统可以很容易地根据新数据重新训练，始终保持最新状态）。
- 深入了解复杂问题和大量数据。
1.3 场景与方法使用
具体任务 类型 方法
分析生产线上的产品图像来对产品进行自动分类 图像分类 卷积神经网络（CNN）、Transformer
通过脑部扫描发现肿瘤 语义图像分割 CNN或Transformer
自动分类新闻文章 文本分类 循环神经网络和CNN，但Transformer效果更好
自动标记论坛中的恶评 文本分类 自然语言处理NLP工具
自动对长文档做总结 文本摘要 NLP的一个分支，称为文本摘要，使用相同的工具。
创建聊天机器人或个人助理 自然语言处理 涉及许多NLP组件，包括自然语言理解(Natural Language Understanding，NLU)和问答模块。
根据许多绩效指标来预测公司下一年的收入 回归/预测 线性回归或多项式回归模型、支持向量机、随机森林或人工神经网络。如果考虑过去的绩效指标，可能需要使用RNN、CNN或Transformer
让应用程序对语音命令做出反应 语音识别 需要处理音频样本：由于它们是很长、很复杂的序列，因此通常使用RNN、CNN或Transformer进行处理
检测信用卡欺诈 异常检测 隔离森林、高斯混合模型或自动编码器
根据客户的购买情况对客户进行细分，从而你可以为每个细分设计不同的营销策略 聚类 可以使用k-means、DBSCAN等来实现
在清晰又有洞察力的图表中表示复杂的高维数据集 数据可视化 通常涉及降维技术
根据过去的购买情况推荐客户可能感兴趣的产品 推荐系统 人工神经网络
为游戏构建智能机器人 决策与选择 强化学习（Reinforcement Learning，RL)，在给定的环境（例如游戏）中，训练智能体（例如机器人）选择能够随着时间的推移最大化其奖励的行动