《Information》：Quality of Authentic Assessment in Digital Marketing Education in the GenAI Era
编辑推荐：
数字营销中的真实性评估（authentic assessment）因学生接触真实受众和预算的机会有限以及时间不足而面临重要挑战；同时，生成式人工智能（generative artificial intelligence, GenAI）可能生成精细的人工物（ar
数字营销中的真实性评估（authentic assessment）因学生接触真实受众和预算的机会有限以及时间不足而面临重要挑战；同时，生成式人工智能（generative artificial intelligence, GenAI）可能生成精细的人工物（artefacts），却未使学生的推理过程可见。本文呈现一项设计型研究（design-based research），涵盖希腊帕特雷大学数字营销本科课程2024—2026年的三轮评估重设计。研究分析了三份作业简报和65份学生提交材料（2024年 n = 19；2025年 n = 29；2026年 n = 17）。第1轮追求执行层面的真实性，第3轮引入加权评分量表（weighted rubric）、市场缺口证据、基准期望和强制性AI使用披露。跨周期分析区分形式化AI披露与负责任人工智能（Responsible AI）能力：2026年的人工物使AI参与更可见，但在验证、风险意识和人类问责方面提供的证据有限。该研究为GenAI时代的项目评估提供可迁移的设计原则，即在真实执行不可用时采用明确的战略模拟、对论证链进行评分以及嵌入式AI文档记录，并提出一个累积模型，用于在应用商业学科的量表设计中区分AI披露与负责任AI能力。
一、研究背景与问题。数字营销的项目式评估长期依赖真实执行，但学生缺乏真实受众、预算和时间，免费工具与测试网站产生的分析数据常接近零，难以支持有效的绩效推断；同时，GenAI可生成专业外观的成果而不显示学生推理，威胁从提交成果推断学习与能力的评估效度。该研究因此考察真实性评估在GenAI条件下如何重设计，以使战略推理、证据来源、AI参与和人类责任保持可见。
二、研究开展、结论与意义。研究人员在希腊帕特雷大学管理科学与技术系数字营销本科课程中开展三轮设计型研究（design-based research, DBR，指迭代设计—实施—修订的研究取向），分析三份作业简报与65份学生提交材料，跨周期比较评估设计、学生表征及证据问题。研究结论是：真实执行不可用时，真实性可转向基于证据的职业判断；正式AI披露不等于负责任人工智能（Responsible AI）能力；2026年成果使AI参与更可见，但验证、风险意识和人类问责证据有限。意义在于提出可迁移设计原则和区分AI披露与负责任AI能力的累积模型，供应用商业学科评分量表设计参考。
三、关键方法（≤250字）。采用DBR，将2024、2025、2026三份作业简报作为设计人工物，将65份提交作为研究数据（2024年 n = 19；2025年 n = 29；2026年 n = 17），来源为希腊帕特雷大学管理科学与技术系数字营销本科课程。分析包括：对三份简报进行11维指标文档分析；对学生人工物进行19码内容分析，代码按定向与常规内容分析发展；对30份分层样本（每周期10份）进行独立第二编码，以百分比一致性、Cohen’s κ、二次加权κ和Gwet’s AC1检验一致性；并对负责任AI能力进行理论引导的二次分析。
四、研究结果。以下结果基于上述简报文档分析与学生人工物内容分析，部分代码经第二编码者一致性检验，原文对低一致性代码标为指示性。
4.1 活动设计：2024简报要求真实公司产品、人物画像、Canva创意、关键词分析、测试网站、Google Analytics与数据评估，执行真实性最高。
4.2 发现1：实时测量在结构上不可及，学生以五种互斥方式应对：透明报告失败、假设数值替代、无充分证据声称正向绩效、仅报告技术设置或分析链接、省略评估或仅描述前瞻测量。
4.3 发现2：出现虚构与混合产品；可持续性主题自发出现但非规范要求，6份可见、2份为核心。
4.4 发现3：模板驱动的人物画像错配，B2B导向HubSpot模板与消费品项目不匹配，部分学生以自建消费者画像和数据收集计划补偿。
4.5 发现4：战略推理与覆盖范围差异大，SEO推理从迭代筛选到名义工具使用，覆盖从仅前半部分到完整；整体性0—3评分且无量表使差异未反映在评分中。
4.6 发现5：AI使用先于正式指导，2024提交已明确提及Canva AI图像生成器，但未声明时不能证明AI使用。
4.7 2024总体概况：创新多表现为新口味、产品延伸、智能设备或便捷数字服务，技术努力与创意产品构思常见，创新尚未被要求以竞争或市场缺口证据支撑。
4.8 2024量化发现小结：第1轮在证据层面失败而非人工物生产失败，五种应对方式互斥且合计19份。
5.1 设计：2025取消实施，转向学生设计含强制创新与可持续性的数字产品或服务，要求品牌、社交帖、六场景故事视频、页面SEO要素和五项自定KPI并说明机制；评分上限升至4分，人物画像要求被移除并提供两个示例KPI。
5.2 发现6：可持续性成为结构性要素，29份中26份为核心或显著；绿色创意集中于循环消费、环境行动和可持续交通三类，占79.3%。
5.3 发现7：KPI素养显现，28/29提交含数值KPI；主要问题是目标常被称为现实但缺乏历史数据、外部基准或可核查推导。
5.4 发现8：脚手架锚定，简报示例中的构念和阈值常再现为学生答案；该代码总体κ=0.25，应视为指示性。
5.5 发现9：不透明AI生产成为新兴失败模式，2025无完全可编码提交含结构化GenAI声明；交付物完整性差异，链接型提交等；第二编码者认为不完整交付物在三周期均常见，故该部分为指示性且非2025特有。
5.6 发现10：创新主张缺乏可验证性要求，创新多为增量、情境化、组合式，差异化常以功能解释而非系统竞争或市场分析支撑。
5.7 发现11：选择性覆盖与质量差距扩大，必需组件多被包含，但渠道选择、关键词数据、数值目标和创新主张的推理深度差异大。
5.8 发现12：深度—可验证性权衡，2025人工物战略装置更丰富，但市场缺口、新颖性、关键词值、KPI目标和AI辅助选择等需来源支撑的主张增多。
5.9 2025语料中的AI：6/29产品明确将AI嵌入产品能力，包括推荐引擎、图像服装重设计、健康支持聊天机器人等；AI在创业想象中出现但非默认创新标志。
5.10 2025量化发现小结：第2轮通过使预测合法化处理测量参与问题，但可持续性近乎普遍而主题选择和命名趋同于共享绿色词汇。
6.1 设计：2026简报明确产品假设性，要求至少两个外部来源的市场缺口证据，详细且工具无关的购买者画像，KPI锚定行业基准并删除示例KPI，引入八标准加权量表，强制AI使用声明和合并证据。
6.2 发现13：AI披露普遍但质量不均，17份均有某种AI使用承认；3份较全面说明工具、目的和受影响人工物，其他为有限任务披露或泛化表述；披露完整性应与AI认知参与程度分开编码。
6.3 发现14：市场缺口证据普及，13/17引用至少两个可识别外部来源；基准推理仍弱，仅1份提供全KPI集来源链接基准并显式定量推导至少一个目标，7份提行业均值但无完整来源链，9份无数值目标外部锚定。
6.4 发现15：验证困难从活动分析转向研究数据，15/17报告数值关键词信息；来源透明度差异大，少数说明工具、地理和局限，其他精确数值缺截图、导出、日期或可复现查询轨迹。
6.5 发现16：主题集中与解决方案层面变异并存，8/17涉及环境、能源或可持续交通，4/17涉及财务管理，合计12/17；同域产品形式包括AI助手、人工支持服务、B2B SaaS、市场平台等。
6.6 2026总体概况：展示与可持续性，15/17为结构化报告、2份为路演材料；视觉成熟常见但分析深度与精致度独立变化；人物画像—方案一致性改善最明显，渠道推理仍不成熟；可持续性在11份为核心价值主张，4份为社会、财务或健康韧性框架，1份边缘、1份不足。
6.7 2026量化发现小结：2026机制使市场证据、数值关键词数据和AI承认在多数或全部提交中可见，但使证据完全可复现和可核查仍是下一步设计任务。
7 跨周期发现：客户认知路径与AI使用两个维度贯穿三周期，且均非单一简报的明确目标。
7.1 发现17：客户路径从广泛渠道曝光，到单平台价值共鸣，再到基于人物画像的目标相关性；2026渠道选择更常被表述为有依据决策，但渠道理由一致性低，故为指示性。
7.2 发现18：AI使用从静默资产生成器，到未记录生产引擎，再到声明合作者与产品主题；2026全部可读成果承认AI使用，8/17产品明确将AI纳入价值主张。
7.3 共同轴评估：真实性轨迹为真实执行→模拟判断→明确规则下角色表现；可持续性为可选属性→主导身份→更广韧性框架；AI为未监管背景条件→产品特征与声明合作者；名称轨迹反映三者发展。
7.4 项目名称：2024为1/19含Eco-/Green-/Re-标记，2025为15/29生态品牌集中，2026为6/17功能或技术差异化且两个含“AI”；名称视为评估框架塑造的定位人工物，而非创新代理。
7.5 负责任AI能力：2026全部承认AI但仅3份提供较全面工具—目的—人工物说明；很少记录验证、风险、人类问责；原文提出累积模型作为未来量表设计的规范框架，并非实证结果。
五、讨论总结与结论翻译。讨论将核心贡献界定为从执行真实性转向GenAI条件下基于证据的职业判断：第2轮转向战略家的事前构思与预测，第3轮加入证据要求、基准锚定、论证链、AI披露和加权量表；工具效应显示脚手架可能被复制为答案，约束独立判断的可见性；证据问题随重设计迁移，从缺少可辩护绩效数据，到脚手架锚定与不透明AI生产，再到来源可复现性和基准可追溯性不足。研究问题回答为：评估设计从执行保真转向战略模拟再转向明确证据规则下的角色表现；可持续性由自发属性变为结构要素并扩展；创新主张多于其证据支撑；AI由背景条件变为产品特征和声明合作者；证据问题迁移而非消失；AI披露可见性不等于负责任AI能力。原文结论翻译如下：这项三轮研究并不表明更详细的评估能改善学习，也不表明AI披露能确立负责任使用。它表明，当真实活动执行不可用时，真实性评估的证据基础可以被重设计，从作为字面执行的真实性转向基于证据的职业判断；其贡献关乎评估使什么可见并可评分，而非已证明的能力增益。对照五个质量维度，重设计使学生工作背后的证据更可见（效度），在没有字面执行的情况下保留角色真实性（真实性），引入明确的加权标准（透明度），消除对真实流量和预算的依赖（公平性），并暴露未来设计必须预见的工具效应（后果）。在GenAI时代，此类判断只有在其来源、基准、AI参与和人类归属足够可见、可被质疑和评估时才可信。
