基于支持向量机的手写数字识别入门教程

基于支持向量机的手写数字识别入门教程

引用

CSDN

1.

https://m.blog.csdn.net/magnolia_he/article/details/141310507

手写数字识别是机器学习领域一个经典且实用的案例，广泛应用于邮政编码识别、银行支票处理等领域。本文将通过一个简单的项目，介绍如何使用支持向量机（SVM）实现手写数字识别。

导入必要的包

在开始项目之前，我们需要导入一些必要的Python库：

• numpy: 这个库是Python中常用的数学计算库。在这个项目中，我们使用numpy来处理图像数据，将图像数据转换为一维向量，以便进行模型训练和测试。
• matplotlib: 这个库是Python中常用的绘图库。在这个项目中，我们使用matplotlib来显示一些手写数字图像样本以及测试样本和它们的预测结果。
• sklearn: 这个库是Python中常用的机器学习库，提供了许多机器学习算法和工具。在这个项目中，我们将使用sklearn来加载手写数字数据集、将数据集分为训练集和测试集、创建SVM分类器、进行模型训练和测试，并评估模型性能。

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import confusion_matrix

1. 数据集

我们将使用Scikit-Learn库自带的手写数字数据集（digits dataset）。该数据集包含8x8像素的手写数字图像，共有10个类别（数字0到9），每个类别有约180个样本，总共大约有1797个样本。

# 加载手写数字数据集
digits = datasets.load_digits()
# 显示数据集基本信息
print("数据集基本信息:")
print("样本数量: {}".format(len(digits.images)))
print("图像大小: {}".format(digits.images[0].shape))

数据集基本信息:
样本数量: 1797
图像大小: (8, 8)

接下来，我们展示数据集中的部分样本图像：

# 显示一些样本图像
fig, axes = plt.subplots(4, 4, figsize=(8, 8),
                         subplot_kw={'xticks':[], 'yticks':[]},
                         gridspec_kw=dict(hspace=0.1, wspace=0.1))
for i, ax in enumerate(axes.flat):
    ax.imshow(digits.images[i], cmap='binary', interpolation='nearest')
    ax.text(0.05, 0.05, str(digits.target[i]),
            transform=ax.transAxes, color='green' if (digits.target[i]==digits.target[0]) else 'black')

2. 数据处理

由于数据为8×8的图像数据，因此每个图像包含64个像素值。我们需要将数据转化为一维向量，让SVM能够处理数据。这个过程通过numpy库中的reshape()函数实现。

同时，我们需要将数据集分为训练集和测试集。在这个项目中，我们将手写数字数据集中的样本随机划分为训练集和测试集，其中训练集占总样本数的70%，测试集占30%。

# 将图像数据转换为一维向量
X = digits.images.reshape((len(digits.images), -1))
y = digits.target
# 将数据集分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

3. 训练过程

使用sklearn库中的SVC()函数创建SVM分类器，并指定超参数。在这个项目中，参数是gamma=0.001。训练模型：使用SVM分类器对训练集进行训练，通过调用fit()方法实现。预测结果：使用训练好的SVM分类器对测试集进行预测，通过调用predict()方法实现。

# 创建SVM分类器
clf = SVC(gamma=0.001)
# 训练分类器
clf.fit(X_train, y_train)
# 测试分类器
y_pred = clf.predict(X_test)

4. 输出结果

评估模型的性能，使用sklearn库中的confusion_matrix()函数计算模型的混淆矩阵。混淆矩阵可以直观地展示分类错误的个数，并根据混淆矩阵计算出模型的准确率、精确率、召回率和F1分数等指标。

# 输出混淆矩阵和准确率
cm = confusion_matrix(y_test, y_pred)
print("混淆矩阵:")
print(cm)
accuracy = clf.score(X_test, y_test)
print("准确率: {:.2f}%".format(accuracy * 100))
# 显示一些测试样本和其预测结果
fig, axes = plt.subplots(4, 4, figsize=(8, 8),
                         subplot_kw={'xticks':[], 'yticks':[]},
                         gridspec_kw=dict(hspace=0.1, wspace=0.1))
for i, ax in enumerate(axes.flat):
    ax.imshow(X_test[i].reshape(8,8), cmap='binary', interpolation='nearest')
    ax.text(0.05, 0.05, str(y_pred[i]),
            transform=ax.transAxes,
            color='green' if (y_pred[i]==y_test[i]) else 'red')
plt.show()

混淆矩阵:
[[56 0 0 0 0 0 0 0 0 0]
[ 0 57 0 0 0 0 0 0 0 0]
[ 0 0 44 0 0 0 0 0 0 0]
[ 0 0 0 60 0 0 0 0 0 0]
[ 0 0 0 0 70 0 0 0 0 0]
[ 0 0 0 0 0 56 1 0 0 0]
[ 0 0 0 0 0 0 48 0 0 0]
[ 0 0 0 0 0 0 0 55 0 1]
[ 0 1 0 0 0 0 0 0 49 0]
[ 0 0 0 0 0 0 0 1 0 41]]
准确率: 99.26%

完整代码

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import confusion_matrix

# 加载手写数字数据集
digits = datasets.load_digits()
# 显示数据集基本信息
print("数据集基本信息:")
print("样本数量: {}".format(len(digits.images)))
print("图像大小: {}".format(digits.images[0].shape))

# 显示一些样本图像
fig, axes = plt.subplots(4, 4, figsize=(8, 8),
                         subplot_kw={'xticks':[], 'yticks':[]},
                         gridspec_kw=dict(hspace=0.1, wspace=0.1))
for i, ax in enumerate(axes.flat):
    ax.imshow(digits.images[i], cmap='binary', interpolation='nearest')
    ax.text(0.05, 0.05, str(digits.target[i]),
            transform=ax.transAxes, color='green' if (digits.target[i]==digits.target[0]) else 'black')

# 将图像数据转换为一维向量
X = digits.images.reshape((len(digits.images), -1))
y = digits.target
# 将数据集分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

# 创建SVM分类器
clf = SVC(gamma=0.001)
# 训练分类器
clf.fit(X_train, y_train)
# 测试分类器
y_pred = clf.predict(X_test)

# 输出混淆矩阵和准确率
cm = confusion_matrix(y_test, y_pred)
print("混淆矩阵:")
print(cm)
accuracy = clf.score(X_test, y_test)
print("准确率: {:.2f}%".format(accuracy * 100))

# 显示一些测试样本和其预测结果
fig, axes = plt.subplots(4, 4, figsize=(8, 8),
                         subplot_kw={'xticks':[], 'yticks':[]},
                         gridspec_kw=dict(hspace=0.1, wspace=0.1))
for i, ax in enumerate(axes.flat):
    ax.imshow(X_test[i].reshape(8,8), cmap='binary', interpolation='nearest')
    ax.text(0.05, 0.05, str(y_pred[i]),
            transform=ax.transAxes,
            color='green' if (y_pred[i]==y_test[i]) else 'red')
plt.show()