HumaniBench：面向多模态大模型的以人为中心的评测框架

《ACM Transactions on Intelligent Systems and Technology》：HumaniBench: A Human-Centric Framework for Large Multimodal Models Evaluation

　　

摘要

摘要

尽管近期的大型多模态模型（LMMs）在视觉 - 语言任务上取得了令人印象深刻的进展，但它们在公平性、伦理、包容性、同理心和鲁棒性等人本主义（HC）原则方面的对齐情况往往被忽视。现有的 LMM 基准测试主要不考虑准确率。我们提出了 HumaniBench，这是一个用于刻画现实、基于社会背景的视觉语境中人本主义对齐情况的统一框架。它包含 32,000 个经专家验证的来自真实世界新闻图像的图像 - 问题对，每一对都通过明确指标映射到一个或多个 HC 原则。对 15 个最先进的 LMMs 进行比较揭示了持续的权衡：专有系统在伦理、推理和同理心方面领先，而开源模型显示出更优越的视觉定位和韧性。所有模型在公平性和多语言包容性方面都存在持续差距。思维链提示和测试时缩放在几个 HC 维度上带来 8-12% 的提升。HumaniBench 使得能够进行细粒度分析，揭示传统多模态基准测试无法捕捉的对齐权衡。

	项目：	https://vectorinstitute.github.io/humanibench/
	数据：	https://huggingface.co/vector-institute/HumaniBench
	代码：	https://github.com/VectorInstitute/HumaniBench

AI 摘要

AI 生成摘要（实验性）

此摘要使用自动化工具生成，未经文章作者撰写或审核。提供此摘要旨在支持发现，帮助读者评估相关性，并协助来自相邻研究领域的读者理解该工作。它旨在补充作者提供的摘要，后者仍然是论文的主要摘要。完整文章仍然是权威记录版本。点击此处了解更多。

点击此处评论此摘要的准确性、清晰度和实用性。这样做将有助于为改进和未来的重新生成版本提供参考。

要查看此 AI 生成的通俗语言摘要，您必须拥有高级访问权限。