乒乓球运动分析的深度网络TTNet详解

乒乓球运动分析的深度网络TTNet详解

引用

CSDN

1.

https://blog.csdn.net/bengyanluo1542/article/details/113812269

TTNet是一种用于乒乓球运动分析的轻量级多任务神经网络，能够实时分析乒乓球比赛中的时空信息。该网络通过端到端的方式，解决了目标检测、语义分割、时序事件分析等多种问题。本文将详细介绍TTNet的研究背景、方法和实验结果。

研究背景

基于深度学习的乒乓球运动分析面临诸多挑战：

1. 乒乓球在画面中占比较小，容易被误检
2. 高帧率数据处理要求高
3. 专业数据集缺乏

为了解决这些问题，来自韩国osai的研究团队提出了TTNet，该网络能够同时完成球的位置检测、事件分析和语义分割等任务。

方法

输入与输出

输入视频帧的原始大小为1920 * 1080，经过降采样到320 * 128后输入TTNet。网络输出包括：

• 特定事件的概率
• 乒乓球位置
• 球桌、运动员、裁判、得分板的分割信息

网络整体结构如下图所示：

乒乓球检测

球的位置检测采用两阶段方法：

1. 第一阶段获取球的位置区域
2. 在原图中截取该区域，送入第二阶段网络获取精确位置

球的位置使用高斯分布进行估计，以加快收敛速度。这种方法可以降低误检率并提高位置估计准确性。

事件分析

根据乒乓球比赛规则，只有在球出界、下网及发球时的状态对比分更新至关重要。网络同时使用第一阶段和第二阶段的检测信息进行状态估计，并采用了标签平滑技术。标注时使用包含9张图像的图像堆，以更准确地获取当前帧信息。

语义分割

分割任务包括三类信息：人、球桌、得分板。分割网络的基干网络与检测的第一阶段共享。损失函数采用平滑的DICE损失和BCE交叉熵损失。

多任务损失

采用可学习的加权系数进行多任务损失加权，参考了Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics中的方法。

数据标注

事件信息完全人工手动标注，而乒乓球的位置及分割则进行了半自动标注处理。

实验结果

实验结果表明，TTNet能够有效获取丰富的比赛信息，包括球的位置、运动轨迹以及比赛状态等。这种方法在实际应用中具有广阔前景，可用于比赛分析、运动员训练辅助、智能教练等领域。