知识增强多模态推理框架：塔里木盆地西北缘考古遗址识别的证据约束与候选筛选

《Remote Sensing》：Knowledge-Enhanced Multimodal Reasoning Framework for Archaeological Site Identification on the Northwestern Margin of the Tarim Basin

　　

为解决细微地表特征、保存状态多变以及自然地貌和现代特征相似模式引起的视觉误分类，研究人员针对塔里木盆地西北缘提出了一种知识增强多模态推理框架。遗址对象（Site Objects）组织多源数据，而来自形态（Morphology）、阴影（Shadow）、背景（Context）和时间（Temporal）维度的专家知识被表示为结构化证据和层次化决策规则。采用低秩自适应（Low-Rank Adaptation, LoRA）的知识引导监督和领域自适应，使候选评估能够考虑考古学支持、非考古学替代解释和证据不足情况。独立测试表明，仅知识引导提示并未持续提升性能。经过领域自适应后，严格精确率从22.31%提高至58.70%，F₁分数从33.54%提高至62.79%，而严格召回率基本保持不变。现代人为特征和自然地貌相似物的严格假阳性率分别从53.75%和31.25%降至10.00%和7.50%，同时候选召回率得到提升。区域应用展示了在连续遥感场景中进行候选筛选的能力。该框架在保留潜在遗址的同时约束视觉相似混淆物，从而为复杂干旱区的大规模调查提供更可靠、可追溯的筛选支持。

干旱区考古遗址常表现为微弱或破碎的地表特征，受风蚀、沉积物覆盖和现代扰动影响，其边界与内部结构难以辨识；自然地貌和现代人为活动也可能产生与遗址相似的几何和纹理形态，造成视觉混淆，使遥感识别面临漏检和误报的双重风险。塔里木盆地西北缘的遗址类型多样，包括烽燧、古城、戍堡等，分布在山前冲积平原、荒漠和绿洲交错的环境中，保存状况和地表背景复杂，进一步增加了区域考古判读的难度。现有自动化检测方法虽然能进行大规模影像筛选，但检出异常并不等同于确认考古遗址，仍需结合考古知识对预测进行解释。因此，如何将考古领域知识嵌入多模态模型，并为候选保留或排除提供可追溯的证据基础，成为该区域遥感考古的关键问题。

针对上述问题，研究人员提出一种知识增强多模态推理框架，用于塔里木盆地西北缘的考古遗址候选筛选。该框架通过遗址对象（Site Objects）组织多源数据，将专家知识从形态（Morphology）、阴影（Shadow）、背景（Context）和时间（Temporal）四个维度形式化为结构化证据，并依据层次化决策规则生成考古支持、非考古替代解释和证据不足三类评估状态。基于视觉语言模型（Vision-Language Model, VLM）Qwen3-VL-32B-Instruct，采用低秩自适应（Low-Rank Adaptation, LoRA）进行领域自适应，使模型能够端到端地完成目标检测、证据构建和推理。独立测试显示，经领域自适应后严格精确率从22.31%提高至58.70%，严格F₁分数从33.54%提高至62.79%，严格召回率基本不变；现代人为特征和自然地貌相似物的严格假阳性率分别从53.75%和31.25%降至10.00%和7.50%。区域应用在Maralbexi（巴楚）–Tumxuk（图木舒克）约2340 km2的连续影像中实现了候选筛选。该框架在保留潜在遗址的同时抑制视觉相似混淆物，为复杂干旱区大规模调查提供了更可靠和可追溯的筛选支持。其重要意义在于推动遥感考古从视觉异常检测向证据化候选评估转变。

关键技术方法可概括为：基于考古记录、多时相光学影像、历史影像（如CORONA、HEXAGON）、SRTM数字高程模型及野外调查数据构建遗址对象，生成221个可靠空间对应对象和290个正样本场景；采用受控词表对四维证据进行结构化标注，并定义P1–P5层次评估规则；以Qwen3-VL-32B-Instruct为基础，通过LoRA进行多任务领域自适应，监督任务包括检测、证据构建和推理；训练和验证数据包含250个正样本、250个硬负样本和500个背景场景，独立测试集含300个场景，区域应用覆盖Maralbexi–Tumxuk约2340 km2。

研究结果如下。

**3.1.1 总体性能**：在独立测试集上的对比表明，基线（Baseline）实现较高召回但精确率低；仅提示（Prompt-only）产生较少Positive输出；提示+LoRA（Prompt+LoRA）在保持基线严格召回率的同时，将严格精确率提高至58.70%，严格F₁提高至62.79%，候选召回率达95.00%，说明知识引导监督和领域自适应提升了候选选择性。

**3.1.2 跨干扰场景的假阳性控制**：对现代人为硬负样本和自然地貌相似物的评估显示，提示+LoRA将现代人为特征的严格假阳性率从基线的53.75%降至10.00%，自然地貌相似物从31.25%降至7.50%；在背景场景中返回无对象的比例最高，且Positive输出最少，表明其能有效排除非考古学混淆因素。

**3.1.3 消融结果**：仅标签LoRA和去除P5的LoRA在严格识别和候选筛选下均低于完整配置，完整配置严格F₁为62.79%，而两个消融分别仅为35.29%和39.60%；完整配置严格假阳性数为19，消融分别增至72和41。这支持结构化证据监督和显式P5负向否决机制在评估条件下具有重要作用。

**3.1.4 代表性模型预测与推理**：对细微遗迹和非考古相似物的案例分析显示，不同配置可能得到相同决策但证据组织不同；对于非考古相似物，基线和仅提示错误判为Positive，提示+LoRA通过完整证据路径与P5否决正确判为Negative，说明证据组织和替代解释直接影响最终判断。

**3.2 区域候选筛选结果**：在Maralbexi–Tumxuk地区6733对场景中，54个Positive输出合并为52个唯一候选对象，238个Uncertain输出作为记录保留；对52个Positive候选和20个Uncertain目标进行了审查，表明该框架具备连续影像下的批量候选筛选可行性。

讨论部分强调，知识增强的主要贡献并非提高对视觉异常的敏感性，而是提高候选筛选和评估中的选择性与可靠性。仅依靠提示文本不能将知识规则与影像特征对齐，必须通过领域自适应将证据语义落实到可观测模式。结构化输出支持候选保留或排除的可追溯性，Uncertain状态为证据不足目标提供了恰当表征。同时，框架受限于知识库和可观测数据，无法识别被掩埋或严重损坏的遗址，未来需结合野外调查、无人机航空摄影、地球物理勘探和年代学证据进行分层验证，并利用已确认假阳性迭代更新知识库和模型。

本研究证明，通过将信息组织为遗址对象并形式化结构化证据和层次化决策规则，可以将考古领域知识转换为模型可学习的证据约束。领域自适应使这些约束与遥感影像中的可观测模式对齐，模型因此能够超越直接的图像到类别预测，区分支持考古学解释的证据、非考古学替代解释和证据不足状态。知识增强的主要贡献不是提高对视觉异常的敏感性，而是提高候选筛选和评估中的选择性与可靠性。复杂考古遥感环境中的自动化识别不应被简单视为二元的遗址–非遗址分类，而应将大面积检测出的异常转化为具有明确证据、解释状态和后续验证价值的考古候选。区域应用支持该框架在连续影像中开展候选筛选的操作可行性。知识增强多模态模型更适合作为连接大范围遥感与专家考古调查的证据化候选评估工具，支持可追溯、分级的区域调查，而非最终遗址确认。