编辑推荐:
视觉数据故事因其对数据趋势的直观传达,在分析与新闻传播中广泛应用。然而,现有方法常依赖模板或自动化分析,因忽视用户意图而限制个性化。为此,研究人员提出一种基于用户意图驱动的方法,用于从表格数据自动生成数据漫画。该方法通过Text-to-SQL解析自然语言查询,
视觉数据故事因其对数据趋势的直观传达,在分析与新闻传播中广泛应用。然而,现有方法常依赖模板或自动化分析,因忽视用户意图而限制个性化。为此,研究人员提出一种基于用户意图驱动的方法,用于从表格数据自动生成数据漫画。该方法通过Text-to-SQL解析自然语言查询,提取数据事实(Text-to-Fact),并将其映射为漫画帧。为保障连贯性,采用强化学习生成辅助帧以实现平滑的事实序列过渡,并引入质量评估机制进一步优化结果。研究人员开发了交互式系统,支持用户通过自然语言交互创建个性化数据漫画。案例研究与用户评估表明,该系统在支持意图驱动叙事方面具有更高灵活性与表现力。
研究背景方面,随着数据量增长与分析复杂度提升,对直观高效的数据可视化技术需求显著上升。叙事可视化以故事形式呈现数据洞察,增强理解与时记忆,但创作视觉数据故事门槛高,非专家用户面临数据分析、图形设计与可视化脚本的多重技能要求。现有自动化与交互工具虽能推荐相关数据事实,却大多止步于将事实组织为连贯且具表现力的视觉叙事。当前数据漫画生成技术存在三方面局限:其一,用户意图考虑不足,如Calliope采用蒙特卡洛树搜索(MCTS)构建数据事实序列,未将用户偏好深度融入节点扩展与路径选择;其二,辅助漫画帧生成适应性有限,如Erato基于BERT线性插值结合MCTS生成过渡帧,依赖大量高质量标注数据,适合静态或低灵活场景;其三,数据故事语义连贯性关注不够,如ChartStory依据图表视觉连续性组织帧,忽视数据事实语义流逻辑。为此,研究人员开展该项研究,旨在从表格数据中提取契合用户意图的数据事实,组织为逻辑连贯序列,以数据漫画形式呈现。研究结论表明,所提用户意图驱动方法能有效支持灵活且富有表现力的意图驱动叙事,系统经案例研究与用户反馈验证有效,意义重大。
关键技术方法上,研究人员在早期设计阶段对六名领域专家进行半结构化访谈,提炼出用户意图理解、自适应辅助帧生成、高效友好交互三项设计需求。方法层面采用Text-to-Fact框架:基于DataCalliope数据集构建6385条训练样本,以ChatGPT API润色帧描述为自然查询,微调BERT分类器预测事实类型(type),整体准确率80.3%;其余四元组元素采用基于RESDSQL框架的Text-to-SQL策略,经ChatGPT预处理规范化后映射至事实属性,焦点(focus)由预测组件逻辑推断。事实序列组织建模为马尔可夫决策过程(MDP),采用近端策略优化(PPO)强化学习,在语义连贯性、事实多样性、事实重要性间动态平衡,状态空间由已选事实序列构成,动作空间为候选事实集合。事实评估模块以BERT模型度量帧间语义关系,综合三目标打分作为强化学习奖励及辅助帧增删依据。系统含意图引导事实翻译、事实组织、事实评估、故事编辑四大模块,支持节点连接故事板配置与自然语言交互。
研究结果部分,第三节系统概述中,3.1定义数据事实为五元组(type, subspace, breakdown, measure, focus),数据漫画为有序漫画帧序列,每帧对应单事实并集成视觉与文本元素。3.2设计需求经专家访谈确认R1用户意图理解、R2自适应辅助帧生成、R3高效友好交互。3.3系统框架分四部分:Part 1意图引导事实翻译模块将节点自然语言描述经BERT与Text-to-SQL转为结构化事实;Part 2事实组织模块以PPO生成平衡多目标的事实序列;Part 3事实评估模块以语义连贯性、多样性、重要性打分,指导RL奖励与辅助帧取舍;Part 4故事编辑模块实现自动生成与个性化修改及导出。第四节方法中,4.1数据事实翻译经DataCalliope样本微调BERT获type预测精度,RESDSQL获其余属性,整体准确率80.3%。4.2事实序列组织以MDP形式化,S为已选事实序列集合,A为候选事实,P为状态转移,R为三目标加权奖励,γ为折扣因子,PPO迭代优化插入辅助事实使序列连贯。评估模块以BERT句向量余弦相似度衡语义连贯,以类型熵衡多样性,以Calliope重要性分衡重要性。
讨论与结论部分,研究人员指出该方法相较Calliope、Erato、ChartStory等,显式建模叙事意图,将故事生成视为语义序列构造问题,突破预定义分析流程限制。所提BERT语义连贯评估有效提升逻辑一致性,交互系统经案例与用户评估验证支持意图驱动叙事的灵活性与表现力。论文发表于《Visual Informatics》,研究表明用户意图驱动的数据漫画生成框架能降低非专家创作门槛,在新闻、教育、商业场景中具备实用价值,未来可拓展至多模态意图输入与跨数据集迁移。