训练和评估模型
创作时间:
作者:
@小白创作中心
训练和评估模型
引用
1
来源
1.
https://learn.microsoft.com/zh-cn/training/modules/custom-name-entity-recognition/4-train-evaluate-your-model
训练和评估模型是一个迭代过程,用于向训练数据集添加数据和标记,以便更准确地训练模型。 若要了解需要改进的数据和标记类型,Language Studio 在左侧窗格的“查看模型详细信息”页中提供评分。
单个实体和整体模型分数分为三个指标,以说明它们的性能以及需要改进之处。
指标 | 说明 |
|---|---|
精度 | 成功识别实体次数与尝试的所有识别次数的比率。 高分数意味着只要识别实体,它就已正确标记。 |
召回率 | 成功识别实体次数与文档中实际存在的实体数的比率。 高分数意味着它能够很好地查找实体,无论它是否为其分配正确的标签 |
F1 分数 | 将精准率和召回率组合可提供单个评分指标 |
分数可按各实体提供,也可提供整个模型的分数。 你可能会发现某个实体分数很高,但整个模型分数却不高。
如何解释指标
理想情况下,我们希望模型在精准率和召回率方面获得高分,这意味着实体识别效果良好。 如果这两个指标分数都低,则意味着模型很难识别文档中的实体,并且当它确实提取该实体时,它不会为其分配置信度高的正确标签。
如果精准率低,但召回率高,则表示模型能够很好地识别实体,但不将其标记为正确的实体类型。
如果精准率高,但召回率低,则表示模型并不总是识别实体,而是在模型提取实体时应用了正确的标签。
混淆矩阵
在同一“查看模型详细信息”页上,“混淆矩阵”顶部还有另一个选项卡。 此视图提供所有实体的可视表以及每个实体的表现,以全面了解模型及其不足之处。
使用混淆矩阵,可以直观地发现在何处添加数据可提高模型的性能。
热门推荐
CRM系统如何接入电话外呼
腌肉用什么料? 可乐还能腌肉?这12种家常材料,帮你腌出1份又嫩又香的烤肉
中焦不通怎么办
双相情感障碍患者疼痛怎么办?药物+心理治疗双管齐下
房贷首付20%需要满足哪些条件?
烘干散热器的保养措施介绍
教育数字化转型:从“术”的创新到“道”的重构
联通主义:打破孤立思维的创新之道
使用权房过户有规定吗?房产过户纠纷诉讼时效是多久?
“千万人口”城市+1
茶宠有哪些种类?茶宠的作用是什么?
中山大学团队开发动态监测癌症疗效/复发风险新技术
健康管理师是干什么的职业?能在哪些岗位就业?
事业编分为哪几种性质
法院判决生效后,申请执行有时效吗?
咬字不清楚怎么训练
50系显卡电源匹配指南:从5090到5070,如何选择合适的电源?
轿车排行榜的评判标准是什么
电杆栽在家后有什么影响
小米4A路由器刷OpenWrt教程
成年人牙齿矫正效果好不好
鸿门宴:楚汉之争的开端,也预示了这场斗争的终结
十三陵·永陵
有了大方向,如何定目标更易出成果?且用这套OKR思考框架
爬行垫什么材质好
宝宝地垫选购指南:打造安全舒适的宝宝爬行天地
茉莉普洱是什么茶?茉莉花茶与普洱茶的结合品
毛坯房装修预算怎么做?学会这招,轻松省下几万元
硬盘坏道检测工具详解:深入解析及实用建议
别放松!进出高速服务区,请这样做→