跨语言数据格式(CLDF)在保存与整合南岛语系和密克罗尼西亚语比较词典中的应用研究

本研究为解决南岛语系比较词典(ACD)和密克罗尼西亚语比较词典(MCD)因技术限制面临的数据丢失风险，研究人员将两大词典转换为跨语言数据格式(CLDF)数据集。通过标准化语言编码、建立关系型数据模型，实现了119,768个词汇条目的结构化保存，为历史语言学定量研究提供可互操作数据基础，同时为濒危语言数据保存树立了新范式。

　　

研究背景与意义
南岛语系作为全球最大的语系之一，包含1,274种分布在亚太地区的语言。罗伯特·布拉斯特(Robert Blust)自1990年开始编纂的《南岛语系比较词典》(ACD)和拜伦·本德(Byron Bender)团队建立的《密克罗尼西亚语比较词典》(MCD)是研究该语系的核心资源。然而，这些数据长期以非结构化HTML格式存储于私人服务器，在网站管理员斯蒂芬·特鲁塞尔(Stephen Trussel)2020年意外离世后，这些珍贵数据面临永久丢失的风险。更关键的是，传统格式无法支持计算机自动化处理，阻碍了大规模语言演化研究的开展。

为解决这些问题，复旦大学、马克斯·普朗克进化人类学研究所和卡尔顿大学的研究团队合作，将两大词典转换为跨语言数据格式(CLDF)。这种标准化处理不仅确保数据长期保存，更通过建立语言间的关联关系，首次实现了南岛语系不同分支数据的交叉验证与整合分析。

关键技术方法
研究采用多步骤技术流程：1) 从HTML页面抓取原始数据并修复格式错误；2) 使用Glottolog和ISO-639-3标准化语言编码；3) 构建包含语言表、词形表、同源集表的关系型数据库；4) 开发Python包pyetymdict实现CLDF格式转换；5) 通过正交轮廓(orthography profiles)统一拼写系统；6) 使用SQLite数据库实现复杂查询功能。

主要研究结果

数据标准化与结构化
通过解析12万条词汇条目，团队建立了包含8,161个同源集的标准化数据集。其中创新性地将ACD的"宏观同源集"拆分为独立子集，并通过外键关联保持层级结构。对MCD数据首次整合了2003年与2004年发表但从未合并的两部分重建数据，共处理1,707个原始重建形式。

语言标识系统
研究成功将1,020种语言变体匹配到Glottolog编码系统，仅"马达加斯加方言"和"婆罗洲马来语"两种语言未能匹配。这种标准化使ACD数据首次能与南岛语基本词汇数据库(ABVD)等资源进行交叉引用。

数据验证与纠错
通过对比HTML页面统计数字，发现并修复了6个初始字母的重建计数差异。在MCD数据中，通过版本控制工具git追踪修正了20种语言的词汇列表错误，如图3所示：

创新性数据模型
研究设计了扩展CLDF规范的特殊表结构：1) etyma.csv保存同源集超结构；2) cf.csv存储非同源词群；3) 通过Dempwolff_Etymology字段标注与1938年经典重建的关联。这种设计既保持数据灵活性，又支持对"双式词"(doublets)和"分离词"(disjuncts)等特殊语言现象的标注。

研究结论与展望
该研究实现了三大突破：1) 首次将两大词典转化为可计算格式，支持音变规律量化分析；2) 通过Git版本控制实现数据持续更新与错误追踪；3) 建立跨词典的互操作框架，为南岛语系整体研究奠定基础。如图7所示，新系统能直观展示原始重建形式在语言谱系树上的分布：

这项发表于《Scientific Data》的工作不仅抢救了濒危语言数据，更开创了历史语言学数据管理的新范式。未来，该框架可扩展到其他语系研究，并为语言演化计算模型提供标准化数据输入。研究团队特别指出，CLDF格式使语言学家能更高效地识别数据矛盾（如一词多重建现象），为语言谱系争议提供客观验证工具。