基于深度学习的人体动作识别与姿态估计系统设计与实现
基于深度学习的人体动作识别与姿态估计系统设计与实现
随着交通工具的普及和道路网络的发展，交通事故已成为一个严重的社会问题。其中，驾驶疲劳是导致交通事故的主要原因之一。因此，开发一种有效的人体动作识别与姿态估计系统对于提高交通安全水平具有重要意义。
一、项目技术
开发语言：Python
python框架：Django
软件版本：python3.7/python3.8
数据库：mysql 5.7或更高版本
数据库工具：Navicat11
开发软件：PyCharm/vs code
前端框架:vue.js
二、项目内容和功能介绍
🎈1.项目内容
本课题在选用的技术方面使用YOLOv3进行动作训练检测，同时导入OpenCV视频模块进行设计。运用了dlib 库进行了面部欧式距离的节点进行设计， 使用PERCLOS模块进行疲劳程度的划分和检测。在计算眼部的疲劳程度中，使用了闭眼内的帧除以整个循环内的帧，并设置不同阈值来判断人脸状态。运用PERCLOS设置状态，利用Hog算法检测面部68个节点。与此同时运用YOLOv3对吸烟、吃喝、玩手机三种不同的状态进行训练，并且将其进行定义标签。最后将计算结果和训练结果写入GUI中进行检测和设置，在链接视频时使用OpenCV进行实时检测，然后利用前期的计算结果进行实时检测。
通过实验证明，本研究设计的人体动作识别与姿态估计系统具有较高的准确性和可行性，可以有效地检测驾驶员的人脸状态并及时发出警报，避免潜在的交通事故发生，对提高交通安全水平具有重要的理论和实践意义。
🎈2.功能介绍
本文采用HOG算法、BERT模型和YOLOv3进行驾驶疲劳训练检测[15]，并利用OpenCV视频模块进行设计。在库的应用中，使用dlib库进行面部欧式距离的节点设计，并使用PERCLOS模块进行疲劳程度的划分和检测。在计算眼部疲劳程度时，使用闭眼帧数除以总帧数，当阈值大于0.6时为梦游状态，小于0.12时为人脸状态。利用HOG算法检测面部68个节点，面部节点库为dlib，计算节点的方法是进行平均值除以绝对值的计算。同时，使用YOLOv3进行训练，将吸烟、吃喝和玩手机三种不同的状态进行定义标签，标签名为Lab。最后将计算结果和训练结果写入GUI中进行检测和设置，在链接视频时利用OpenCV进行实时检测并使用前期的计算结果进行实时检测。在图像集方面，使用近千张图像进行检测，图4-1为整体结构图。
三、核心代码
def config_page(request):
'''
获取参数信息
:return:
'''
if request.method in ["POST", "GET"]:
msg = {"code": normal_code, "msg": mes.normal_code,
"data": {"currPage": 1, "totalPage": 1, "total": 1, "pageSize": 10, "list": []}}
req_dict = request.session.get('req_dict')
msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
msg['data']['pageSize'] = config.page(config, config, req_dict)
return JsonResponse(msg)
def config_list(request):
'''
'''
if request.method in ["POST", "GET"]:
msg = {"code": normal_code, "msg": mes.normal_code,
"data": {"currPage": 1, "totalPage": 1, "total": 1, "pageSize": 10, "list": []}}
req_dict = request.session.get("req_dict")
msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
msg['data']['pageSize'] = config.page(config, config, req_dict)
return JsonResponse(msg)
def config_info(request, id_):
'''
'''
if request.method in ["POST", "GET"]:
msg = {"code": normal_code, "msg": mes.normal_code, "data": {}}
data = config.getbyid(config, config, int(id_))
if len(data) > 0:
msg['data'] = data[0]
return JsonResponse(msg)
def config_detail(request, id_):
'''
'''
if request.method in ["POST", "GET"]:
msg = {"code": normal_code, "msg": mes.normal_code, "data": {}}
data = config.getbyid(config, config, int(id_))
if len(data) > 0:
msg['data'] = data[0]
return JsonResponse(msg)
def config_save(request):
'''
创建参数信息
:return:
'''
if request.method in ["POST", "GET"]:
msg = {"code": normal_code, "msg": mes.normal_code, "data": {}}
req_dict = request.session.get('req_dict')
param1 = config.getbyparams(config, config, req_dict)
if param1:
msg['code'] = id_exist_code
msg['msg'] = mes.id_exist_code
return JsonResponse(msg)
error = config.createbyreq(config, config, req_dict)
logging.warning("save_config.res=========>{}".format(error))
if error != None:
msg['code'] = crud_error_code
msg['msg'] = error
return JsonResponse(msg)
def config_add(request):
'''
'''
if request.method in ["POST", "GET"]:
msg = {"code": normal_code, "msg": mes.normal_code, "data": {}}
req_dict = request.session.get("req_dict")
error = config.createbyreq(config, config, req_dict)
if error != None:
msg['code'] = crud_error_code
msg['msg'] = error
return JsonResponse(msg)
def config_update(request):
'''
更新参数信息
:return:
'''
if request.method in ["POST", "GET"]:
msg = {"code": normal_code, "msg": mes.normal_code, "data": {}}
req_dict = request.session.get('req_dict')
config.updatebyparams(config, config, req_dict)
return JsonResponse(msg)