| 基于加权多策略选样的古文断句模型研究——以古籍《宋史》为例 |
| |
| 引用本文： | 张景素,魏明珠.基于加权多策略选样的古文断句模型研究——以古籍《宋史》为例[J].情报科学,2022,40(10):164-170. |
| |
| 作者姓名： | 张景素 魏明珠 |
| |
| 摘 要： | 【目的/意义】旨在研究少量标注样本构建古文断句模型，减少在模型训练过程中样本标注所需的成本，为
探索数字技术与人文学科的融合发展提供崭新的思路。【方法/过程】从古文样本的不确定性和多样性出发，提出一
种加权多策略选样方法，有效结合了 BERT-BiLSTM-CRF、BERT-CRF等古文断句模型。通过引入信息熵和相
似性等概念，深入分析古籍文本的不确定性和多样性，运用加权计算评估古文样本对模型训练的价值高低，对加权
多策略方法所筛选的有价值样本进行人工标注，同时更新到训练集进行模型迭代训练。【结果/结论】以古籍《宋史》
为例进行研究，所提出的方法分别在 BERT-BiLSTM-CRF、BERT-CRF等古文断句模型训练过程中减少原来训
练样本量的50%、55%，进一步验证了方法的有效性。【创新/局限】加权多策略选样的方法为古文断句模型训练提供
了一种新思路，未来将探索该方法在古籍整理中其他任务的适用性。
|
|
| 点击此处可从《情报科学》浏览原始摘要信息 |
|
点击此处可从《情报科学》下载全文 |
|
