灾害推文识别:实验说明
模型为BERT Base,采用英文 Disaster Tweets 数据进行二分类微调。规范化重复判定后移除冲突标签并去重,保留6,875条;固定划分训练4,812条、验证1,031条、测试1,032条。模型按验证集灾害类F1选择,测试阈值固定为0.5。
本次部署模型
基础模型:google-bert/bert-base-uncased。训练参数:学习率2e-05,batch size 16,最大长度96,最多3轮,验证集选定第2轮。
| 测试指标 | 原FP32检查点(阈值0.5) | 量化浏览器模型(阈值0.35) |
|---|---|---|
| Accuracy | 0.8275 | 0.8149 |
| 灾害类F1 | 0.7866 | 0.7685 |
量化指标来源:浏览器 WASM 实测。FP32 ONNX与PyTorch的分类结果完全一致;量化版与原检查点的分类一致率为92.64%,有76条预测变化。量化模型大小约105.3MiB,没有重新训练或按量化后的测试分数选模型。
上述一致率使用共同阈值0.5。实际网页的阈值0.35由验证集选择,目标是灾害类F1;降低阈值会改变精确率与召回率,也不保证准确率同步提高。量化评测按单条输入进行,避免动态量化的批大小差异。
限制
数据年代、文本风格和类别分布均有限。结果不能直接推广到其他语言、社交平台或真实应急决策。模型判断文本含义,不进行事实核验;输出概率未经校准。完整对照实验、训练随机性复验和逐条结果见本地课程报告。