基于姿态估计算法的健身辅助应用开发

基于姿态估计算法的健身辅助应用开发

引用

CSDN

1.

https://blog.csdn.net/shebao3333/article/details/142474436

本文介绍了一种基于姿态估计算法的健身辅助应用开发过程。通过使用MoveNet模型进行关键点检测和姿势估计，结合余弦相似度等技术手段，实现对健身动作的分析和反馈。

1、问题陈述

在健身过程中，保持正确的姿势是一个挑战。为了分析动作并获得姿势反馈，作者计划构建一个应用程序，该程序可以分析锻炼视频并提供姿势评估。

1.1 高级计划

• 使用关键点检测模型分析锻炼视频
• 将动作与专业人士的动作进行比较
• 设计指标以评估锻炼的正确性并指出改进方向

1.2 要求

作者希望解决方案易于实现、运行速度快，并且能够在MacBook Pro M1上运行，避免昂贵的硬件需求。

2、姿势估计简介

姿势估计是计算机视觉领域的一个重要研究方向，广泛应用于动作识别、活动跟踪、增强现实等领域。主要分为单人和多人姿势估计，其中单人姿势估计又可分为基于直接回归和基于热图的框架。

姿势估计示例

3、寻找正确的关键点检测模型

作者调研了多个关键点检测模型，最终选择了Google的MoveNet。MoveNet具有以下特点：

• 参数量小（约4M），适合移动和嵌入式设备
• 在TensorFlow Hub上可用，附带教程和文档
• 可在浏览器中运行，实现30+ FPS
• 适用于健身、健康和保健应用

4、MoveNet

MoveNet使用热图来定位人体关键点，是一个自下而上的估计模型。其架构包括：

• 特征提取器：基于MobileNetV2的特征金字塔网络
• 预测器头：负责预测关键点的几何中心、位置和偏移量

MoveNet关键点检测示例

5、提取关键点

MoveNet可以检测全身17个关键点，输出一个17x3的张量，包含每个关键点的标准化坐标和置信度分数。

划船练习关键点检测示例

6、从帧到序列 — 对齐记录

为了准确比较动作，需要对齐视频帧。作者采用了手动对齐结合动态时间扭曲（DTW）的方法。DTW允许比较不同长度或时间的序列，有助于微调对齐。

对齐的记录示例

7、比较动作

作者使用余弦相似度来比较动作的相似度，尝试了以下几种方法：

7.1 简单的余弦相似度

将所有关键点连接成一个向量，计算与专业人士动作的余弦相似度。

• cos_sim(correct_movement, professional) = 0.8409
• cos_sim(incorrect_movement, professional) = 0.8255

7.2 逐帧并取平均值

计算相应帧上的余弦相似度并取平均值。

动作示例

逐帧余弦相似度

7.3 加权相似度

使用关键点置信度分数作为权重，计算加权余弦相似度。

• 平均 cos_sim（正确移动，专业）= 0.8135
• 平均 cos_sim（不正确移动，专业）= 0.7976

8、未来的改进

• 核心技术：改进比较指标，分析骨骼或肢体，提高算法的环境适应性
• 用户体验：自动化预处理和对齐，设计直观界面，建立综合练习库

本文原文来自CSDN。