《Frontiers in Artificial Intelligence》：What really happens when a dev vibes with the code? An empirical study on LLM behavioral divergence in response to expressive code comments
编辑推荐：
引言：研究人员调查了以多种开发者风格书写的表达性内联代码注释——从功能性到渐进式诗意、哲学乃至误导性——如何在代码优化过程中影响大语言模型（Large Language Model, LLM）行为。方法：在本试点研究中，研究人员使用一个受控的归并排序（merg
引言：研究人员调查了以多种开发者风格书写的表达性内联代码注释——从功能性到渐进式诗意、哲学乃至误导性——如何在代码优化过程中影响大语言模型（Large Language Model, LLM）行为。方法：在本试点研究中，研究人员使用一个受控的归并排序（merge sort）实现，覆盖五种风格变体，并在标准化控制台提示下评估GPT-5与Claude Opus 4.1，以此隔离嵌入注释符号学变异的效应。七名专家开发者（三名资深、四名中级）依据改编自ISO/IEC 25010标准准则及新颖的LLM易感性指数（LLM Suggestibility Index, LSI）框架对模型输出打分。结果：注释的符号学特征可测量地改变了代码质量，七个维度中六个的共识得分信度ICC(2, k) = 0.65–0.81；单评分者Krippendorff's α = 0.232反映了解释变异性较大。Claude表现出更高的解释敏感性（平均行为分歧4.00；标准差1.16），而GPT-5保持了更强的架构保真度（平均分歧3.58；标准差1.26）。反思性注释（哲学性、对话性）与Claude在专家面板中的最高可维护性得分相关（均为M = 4.00，约高于基线M = 3.71的8%），而相同哲学注释降低了GPT-5可维护性（M = 2.86），提示模型对表达性上下文存在不对称响应。结论：这些发现将内联注释定位为对模型敏感的潜在语义提示（latent semantic prompt），对AI在环（AI-in-the-loop）开发及面向AI辅助维护的注释规范设计具有启示。
研究背景与问题提出
随着“vibe coding（氛围编程）”的兴起，自然语言提示、情感语调与表达性意图正取代传统以语法精确为核心的人机协作模式。Karpathy于2025年提出的“完全交付给氛围”式编程已在早期初创团队中规模化（YC 2025约25%队列代码库95%由AI生成），Stack Overflow 2025调查显示84%受访者使用或计划使用AI编码。然而传统软件工程视注释为维持可维护性的最小功能性文本，而vibe coding从业者常嵌入诗意、哲学、对话式甚至误导性注释。既有研究多聚焦控制台级提示（console prompt）的人格化与情绪框定，却忽视了代码体内嵌注释作为持久潜在提示（latent prompt）对LLM上下文的塑造作用。该研究由此提出：在代码功能与控制台提示恒定下，内联注释的符号学变异是否可测量地改变LLM行为，不同商业编码模型如何响应，以及这对人机协同编程意味着什么。
研究人员以归并排序为刺激算法，构造五种开发者人格注释变体（Stock工程师型、Conversational教育者型、Philosophical意向型、Poetic/emotional艺术家型、Hallucinated过度自信型），在禁用记忆的新会话中向Claude Opus 4.1与GPT-5依次发送三段标准化提示（问题识别、优化、解释性理解），由七人专家面板（3资深≥20年+4中级4–10年）按ISO/IEC 25010四维（功能性、可维护性、可解释性、表达对齐）与LSI三维（语调-意图对齐、开发者可读性、模型影响潜力）以1–5锚定尺度独立打分，取七人算术均值为共识分，采用线性混合效应模型与Shrout-Fleiss ICC(2,k)、Krippendorff's α检验信度，BH-FDR校正21个维度级 Omnibus 检验。
主要技术方法概括
研究人员选取归并排序（含故意保留的list.pop(0)性能缺陷）作唯一算法刺激，生成五类符号学变体注释；在memoryless环境中对Claude Opus 4.1与GPT-5施加三段固定控制台提示；组织七名专业开发者（三资深+四中级，非单一机构样本）依ISO/IEC 25010结合LLM易感性指数（LSI）七维量规独立评分，以七人简单均值作共识分；统计上用Python 3.13栈（pandas、statsmodels、pingouin）跑线性混合效应回归 score~Model+Persona+(1|Rater)，以LRT检交互，ICC(2,k)与Krippendorff's α报信度，BH-FDR(q=0.05)校21检验族，并以剔除Hallucinated变体作敏感性分析。
研究结果
3.1 模型行为模式：Claude对注释符号学高度敏感，Stock下仅微修，Hallucinated下重构架构，哲学注释带来最高可维护性（M=4.00）；GPT-5保持架构保真，剥离Unicode与诗意元素，Stock下才给多方案。Claude平均行为分歧4.00(SD1.16)，GPT-5为3.58(SD1.26)。
3.2 跨模型比较：混合效应显示GPT-5在功能性(β=-0.57,p=0.002)、表达对齐(β=-0.71,p=0.003)、语调-意图对齐(β=-0.74,p<0.001)、模型影响潜力(β=-0.77,p<0.001)四项显著低于Claude且过FDR；可维护性与可解释性无模型差。Poetic/emotional下GPT-5总分降至17.71，Claude仍22.71。
3.3 专家与中级评审一致：资深仅在功能性边际高于中级(4.97 vs 4.28,p=0.123)，其余维度无显著经验调制。
3.4 开发者人格效应：Persona Omnibus在可维护性(LRT p=0.0005,FDR p=0.0014)等五维显著；哲学注释使Claude可维护性达4.00、GPT-5跌至2.86，组内Cohen's d=1.20，Model×Persona交互LRT p=0.053；Poetic下Claude模型影响4.43而GPT-5仅1.86。
3.5 评分者间信度与检验：六维ICC(2,k) 0.65–0.81（功能性因天花板效应0.10除外），单评分者α均值0.232；21检验中12原始显著、11过FDR；维间相关中可维护性-可解释性r=0.81，功能性与其余r<0.30，验证ISO-LSI判别效度。
讨论与结论翻译
讨论指出最核心发现是内联注释不对称地偏移模型行为：同款哲学注释令Claude可维护性登顶（M=4.00）而GPT-5跌破自身Stock基线（2.86），Cohen's d=1.20，Model×Persona交互LRT p=0.053；诗意下模型影响潜力亦现Claude 4.43 vs GPT-5 1.86。研究人员据此提出“人格对齐外推（persona-aligned extrapolation）”作候选机制——模型将注释语域当作合作者身份证据并调节输出，并延伸至Clark与Chalmers扩展心智论（extended mind thesis）：注释乃分布式认知环境而非惰性文本。Hallucinated变体诱发两模型架构漂移，佐证“自信错误”非风格惰性而是行为风险。文末给五条探索性原则（有意用反思注释、按模型匹配语域、审计自信错误、视注释为提示修饰符、教育中培符号学素养）并坦陈局限：单算法、双闭源模型、七评者小样、人格变体多维度共变、缺运行时Benchmark。
结论部分原文浓缩翻译：本研究呈递探索性实证证据，表明内联代码注释符号学变异可测量地塑造LLM在软件开发任务中的行为。发现与将LLM视为代码被动处理器相悖，而将其视为解释性协作者，其输出随输入符号学语域系统性变化。最醒目模式为哲学注释下Claude可维护性上升而GPT-5下降，提示表达性上下文被模型依赖性地利用或拒斥。研究人员提出“人格对齐外推”作为此不对称响应的候选机制以待深究。若模式复现，则实践要义为内联注释可如潜在提示般切实塑造AI辅助代码工作，与常规提示工程面并列。建立衡量此现象之严谨方法论本身即贡献之一。该文发表于《Frontiers in Artificial Intelligence》。
