《Machine Learning with Applications》：Growing a Tail: Increasing Output Diversity in Large Language Models
编辑推荐：
研究人员考察了当多样性是期望属性时，若干大语言模型(Large Language Model, LLM)对具有多个合理答案之问题的响应多样性，并与人类响应进行对比。研究发现模型响应呈高度集中化，反映为狭窄的主流输出（短尾分布），而人类响应表现出显著更长的长尾分
研究人员考察了当多样性是期望属性时，若干大语言模型(Large Language Model, LLM)对具有多个合理答案之问题的响应多样性，并与人类响应进行对比。研究发现模型响应呈高度集中化，反映为狭窄的主流输出（短尾分布），而人类响应表现出显著更长的长尾分布。研究人员继而检验了三种简便且实用的提升输出多样性(Output Diversity)之手段：(1) 通过Temperature Sampling提高生成随机性；(2) 使用单一提示词(Prompt)要求模型从多元视角作答；(3) 聚合多个模型之输出。研究发现这些干预措施——尤指其组合——可显著提升输出多样性，尽管单模型输出通常仍不及人类基线。研究人员讨论了上述发现对未来希望保留文化多样性(Cultural Diversity)这一民主社会基石之AI政策与治理工作的潜在启示。
研究背景与意义
既有文献指出接触多元文化与历史内容可促进宽容与民主价值，而多样性缺失可能导致极端主义与排斥。近年文化市场呈现趋同性(Uniformity)，部分归因于技术与大众媒体。随大语言模型(Large Language Model, LLM)成为公众获取信息的重要来源，其默认输出基于训练语料统计频率，倾向于高频主流项（短尾分布，Short-Tail Distribution），可能引发"算法单一文化(Algorithmic Monoculture)"并缩减用户所接触之Exposure Diversity。《欧盟人工智能法案》(AI Act, 2024, Preamble 27)已明示此关切。本研究旨在实证评估LLM在有多解之开放问题中默认输出之集中度，测试三种无需改动架构之简易干预能否增广输出多样性(Output Diversity)，并与人类响应基线对照，进而探讨对AI治理与文化多样性维护之含义。本文发表于《Machine Learning with Applications》。
主要关键技术方法
研究人员选取八款LLM（含GPT-4、Gemini、Claude V1.3、Claude-instant 1.1、J2-Mid、J2-Ultra、MPT-Chat及GPT-3.5），其中六款具API可调Temperature。设计三个开放性问题（列举三位19世纪有影响人物／三部优质电视剧／三座值得游览城市），每模型每问重复采样10次，基线Temperature=0.3，收集约3780条投票(Vote)并人工归一化同名实体。以香农熵(Shannon Entropy)为主测度并结合不同响应数(Distinct Items)衡量多样性；人类基线采集自X（原Twitter）同题十人各一回答（共30票）。干预阶段分别：(a) API模型Temperature升至1.0；(b) 在原Prompt前加"Answer from diverse perspectives"（Diversity-Ante Prompt）或后加（Diversity-Post Prompt）；(c) 高Temperature＋多样性提示组合；(d) 按组聚合(Aggregation)六款API模型或两款UI模型之输出再算熵与独特项数。另设内容维度编码（人物性别／西方与非西方／职业；剧集是否非英语系；城市所属国）及错误率统计。
研究结果
4.1. Low diversity of default LLM responses（LLM默认响应之低多样性）
基线条件下所有模型输出高度集中，如Q1反复出现Charles Darwin、Karl Marx、Abraham Lincoln，API模型平均仅列4.3个不同人物（上限30），UI模型5个；人类X回复同题列25个不同人物。Q2、Q3呈现相似模式。模型响应熵(Entropy)均值介于2.1–2.9，人类响应熵达4.6–4.7。额外X线程抽样显示人类长尾(Long-Tail)随样本扩大可进一步延伸，证实LLM默认输出呈极短尾分布，单模型及单纯聚合默认输出均远未达人类多样性水平。
4.2. Diversity-promoting measures（促多样性措施）
升温(Temperature 0.3→1.0)使API模型不同响应数增约80%–100%（Q1由4.3升至7.8）。多样性提示(Diversity Prompting)使不同响应数增约20%–60%（Q1 API模型基线4.3→Ante 5.33→Post 6.66；UI模型基线5→Ante 9→Post 7.5）。高温与多样性提示联用较基线增约150%–200%。内容维度上，高温＋多样性提示使Q1女性人物占比由17%升至30%，非西方人物微幅出现（UI模型0→2%–3%），但多数问题内部内容多样性改善有限（如Q2仍多为英语剧集）。即便联用干预，单模型仍未匹敌人脑30票之多样性。模型聚合(Aggregation)默认输出几无增益（重叠大），但在施加高温及／或多样性提示后聚合可显著降低重叠、拉长尾：如六款API模型＋高温＋多样性提示Q2产出58–60种不同剧集超人类25种；两款UI模型＋多样性提示Q2产出18–20种接近人类。错误率在各处理下未显著上升。
讨论与结论翻译总结
研究表明LLM默认对有多解之开放问题输出极窄短尾分布，根源为其基于统计频率之范式致输出偏向主流均值。升温与多样性提示——尤其二者组合——可大幅提升单模型输出多样性，且有协同(Synergistic)效应。即便如此，单模型仍不及人类长尾，须聚合多模型并施以多样性诱导方达或超人类聚合多样性，凸显市场中存在多种LLM之重要性。研究所用干预简易、无需架构变更，开发者可作可选设计特征，政策制定者可纳入AI伦理准则，普通用户亦可借以提升输出广度。局限包括案例仅三则非 exhaustive、人类样本非代表性、数据采集于2023年7月至2024年2月模型可能迭代、内容层面多样性（如非英语文化产品）提升不显著。未来可拓展至更多语境、多模态生成模型及更先进解码(Decoding)或工具增强方法。研究结论：LLM内嵌多元内容但默认不显现，适度Temperature上调、Diversity Prompt及多模型聚合可有效"Growing a Tail"——培育长尾输出多样性，对维护文化多样性及民主社会信息生态具政策与实践意义。
