印尼语词性标注语料库(经语言学家人工校验)
作者: aeks | 发布时间: 2026-11-14 18:08 | 更新时间: 2026-11-14 18:08
印尼语词性标注会给文本中的每个词打上语法类别标签(如名词、动词、形容词等),这是文本分析的重要基础;它会影响信息抽取、机器翻译、文本检索等任务。此前印尼语词性标注采用双向长短期记忆网络(BiLSTM)等方法已经达到较高准确率,但仍有瓶颈:一个词可能有多重含义,模型难以判断它在句子中的词性;一些词可能不在训练词典中,即未登录词(OOV);更根本的是,缺乏一个规则一致、可验证、可复现的语料库。本研究提出一套语料库构建和校验机制。它改编自Fu等人提供的包含21024个句子的已有语料库,并引入语言学家对标签进行复核。过程分六步:挑选语言学家、找出标签不一致之处、预处理、检测不一致、修正不一致、评估语料库。新语料库命名为IDeel。研究团队在2457个经过验证的单句(单一小句)子集上,比较初始过滤语料库与IDeel。结果显示,IDeel中标签类别的波动和混乱程度下降,熵值从0.04降到0.02;这说明标签更一致、更可靠。实验还表明,IDeel优于以往基准;在单句范围内,用它训练或评估模型可提升整体性能,对歧义词效果更明显:一般情况下模型宏F1分数(综合衡量各类别准确率和召回率的指标)提升约8%,歧义情况下提升约9%。该数据可供下载:https://doi.org/10.5281/ZENODO.20159181。研究得到印尼教育基金LPDP(代表高等教育部等)及EQUITY项目资助;作者还感谢多名参与数据标注的贡献者。