训练和评估模型
创作时间:
作者:
@小白创作中心
训练和评估模型
引用
1
来源
1.
https://learn.microsoft.com/zh-cn/training/modules/custom-name-entity-recognition/4-train-evaluate-your-model
训练和评估模型是一个迭代过程,用于向训练数据集添加数据和标记,以便更准确地训练模型。 若要了解需要改进的数据和标记类型,Language Studio 在左侧窗格的“查看模型详细信息”页中提供评分。
单个实体和整体模型分数分为三个指标,以说明它们的性能以及需要改进之处。
指标 | 说明 |
---|---|
精度 | 成功识别实体次数与尝试的所有识别次数的比率。 高分数意味着只要识别实体,它就已正确标记。 |
召回率 | 成功识别实体次数与文档中实际存在的实体数的比率。 高分数意味着它能够很好地查找实体,无论它是否为其分配正确的标签 |
F1 分数 | 将精准率和召回率组合可提供单个评分指标 |
分数可按各实体提供,也可提供整个模型的分数。 你可能会发现某个实体分数很高,但整个模型分数却不高。
如何解释指标
理想情况下,我们希望模型在精准率和召回率方面获得高分,这意味着实体识别效果良好。 如果这两个指标分数都低,则意味着模型很难识别文档中的实体,并且当它确实提取该实体时,它不会为其分配置信度高的正确标签。
如果精准率低,但召回率高,则表示模型能够很好地识别实体,但不将其标记为正确的实体类型。
如果精准率高,但召回率低,则表示模型并不总是识别实体,而是在模型提取实体时应用了正确的标签。
混淆矩阵
在同一“查看模型详细信息”页上,“混淆矩阵”顶部还有另一个选项卡。 此视图提供所有实体的可视表以及每个实体的表现,以全面了解模型及其不足之处。
使用混淆矩阵,可以直观地发现在何处添加数据可提高模型的性能。
热门推荐
千万别挠蚊子包!被叮咬后留下的黑印,这样可以快速去除
找对象,有房有车已经过时,现在新的“三大件”才是婚姻的关键!
从设计到施工全指南,助您打造实用与美观兼备的理想阳台
《小小的我》跨年上映:当边缘群体站上大银幕C位
跨境电商申请流程全解析,从入门到精通
孩子总是写不完作业,是因为什么?又该如何解决?
公司辞退n+1怎么算基本工资
一种超级奇特的热带水果—妈咪果
如何利用回款进度表提高企业现金流管理效率?
破折号的多重功能与有效使用技巧探讨
伤官配印查询:你需要知道的一切
什么是数控机床(CNC)?它在机械加工中的作用是什么?
开发商房屋面积误差、不办网签、降价等问题的法律解答
如何利用人工智能技术提升电网运检效率?一探国网冀北电力的数字化实践
揭秘明朝三大特务机构:锦衣卫、东厂与西厂的权力运作
中国五岳海拔大盘点:从泰山到华山,谁是最高峰?
用药期间,美味有风险——你该知道的高酪胺食物与服药注意事项
如何通过法律手段加强对弱势群体的支持
为什么晕车的人开车不容易晕?
住房公积金缴存知识问答
江西十大高山排名,真正的江西最高峰是......
白炽灯的紫外线是否会对人体产生影响?
暑期出境游,这些安全风险要注意!
高压电线离住宅多少米为安全区?
征服一个人最佳的方式,不是花钱,而是懂得“贝勃定律”付出要适可而止
雷司令:德国葡萄酒的灵魂
健康指南 | 韩青:早期肾病不痛不痒,如何早发现和预防?
ctDNA甲基化检测极具临床应用价值
世界各国的死刑制度现状及展望
如何正确食用燕麦片,营养价值最大化,却是许多人并不了解的问题