AI驱动的MetaHuman面试官：基于严肃游戏的大学生求职面试技能训练系统

《IEEE Access》：AI-Powered MetaHuman Interviewer: Serious Game for Student Job Interview Skills

本研究针对传统面试准备方法缺乏真实性和互动性的问题，开发了一款集成MetaHuman技术、大语言模型(LLM)和语音处理系统(STT/TTS/STA)的严肃游戏平台IIAA。通过模拟UI/UX设计、软件工程和游戏开发三个职业路径的面试场景，系统显著提升了用户的参与度和面试自信心。研究表明，该平台能有效增强求职准备的真实感，为教育技术领域提供了创新性的解决方案。

　　

在竞争日益激烈的就业市场中，大学毕业生如何有效准备求职面试成为关键挑战。传统的面试培训方法往往缺乏真实场景的模拟和个性化反馈，导致学生难以在真实面试中展现最佳状态。特别是在泰国这样的特定文化语境中，求职者还需要应对语言代码转换（如泰英混合使用）等独特挑战。正是为了解决这些痛点，泰国国王理工学院的研究团队开发了一款突破性的严肃游戏——交互式面试辅助应用（IIAA）。

这项发表在《IEEE Access》的创新研究，巧妙融合了Epic Games的MetaHuman技术、大语言模型（LLM）和实时语音处理系统，创造出一个能够进行动态对话的虚拟面试官。该系统不仅支持泰语和英语的混合输入，还能根据用户选择的职业路径（UI/UX设计师、软件工程师、游戏开发者）生成针对性问题，并提供即时的评分和反馈。

为了构建这个智能面试平台，研究团队采用了多项关键技术：首先通过对比测试选择了专攻泰语识别的wav2vec2-large-xlsr-53-th模型作为语音转文本（STT）引擎；然后集成ChatGPT 3.5 Turbo 16k作为对话核心，通过精心设计的提示词工程让其扮演专业HR角色；接着利用MetaHuman SDK实现文本转语音（TTS）和语音驱动动画（STA）功能，使数字面试官具备自然的表情和肢体语言；最后在Unreal Engine 5.2环境中搭建了完整的用户界面，包含开始页面、面试界面和总结页面三大模块。

研究团队还对10名泰国国王理工学院的应届毕业生进行了系统评估，重点关注系统性能、用户体验和反馈质量。结果显示，虽然高精度3D渲染导致动画合成存在一定延迟（处理速度为21.09字符/秒），但用户对系统整体体验打出了8.2分（满分10分）的高分。特别是在面试反馈实用性方面，系统获得了8.9分的最高评价。

在系统架构设计方面，研究人员建立了前后端分离的框架。前端负责用户交互和界面展示，后端则整合了聊天机器人、STT转换、TTS合成和数字人渲染等核心功能。这种模块化设计确保了系统的可扩展性和稳定性。

语音处理流程的优化是项目的重要突破点。通过实验发现，将文本按75字符的阈值分段发送至TTS引擎，能在语音启动延迟（6.81秒）和语句间停顿（24.82秒）之间达到最佳平衡。同时，针对Hugging Face API的冷启动问题，团队采用了预请求唤醒策略，显著提升了语音识别的响应速度。

在对话管理方面，系统设置了基础和综合两种面试模式。基础模式按预定问题列表进行，而综合模式则引入50%概率的随机追问机制，使对话更具深度和灵活性。每个问题结束后，ChatGPT会根据回答的相关性和深度给出1-10分的评分，并附上改进建议。

用户体验设计充分考虑了泰国用户的使用习惯。所有界面均采用泰语本地化，并提供了头像性别、虚拟办公室环境等个性化设置选项。面试过程中，用户既可使用语音输入也可选择文本输入，系统还贴心地提供了回答修正功能，以应对STT转换可能出现的误差。

研究发现，数字面试官的真实感主要得益于多层级动画的融合。除了基础的唇形同步动画外，团队还引入了额外的面部表情库和身体 idle 动画，有效避免了数字人的僵硬感。这种综合动画策略大大提升了互动的自然度。

尽管系统在泰语语音识别准确率（7.0分）方面仍有提升空间，但用户普遍认为该系统能有效提升面试信心（8.0分）。特别是对UI/UX设计专业的学生而言，系统在问题相关性和反馈价值方面都获得了满分评价。

该研究的创新之处在于首次将MetaHuman技术与LLM驱动的对话系统相结合，创建了针对东南亚教育场景的面试培训平台。与传统的EZInterviewer等仅关注问题生成的系统相比，IIAA在交互真实性和文化适配性方面实现了重要突破。

然而，研究也揭示了若干技术挑战。实时渲染高精度3D模型导致的性能瓶颈，以及混合语言环境下语音识别的准确性问题，都需要进一步的优化。此外，系统对云端API的依赖也带来了稳定性的隐忧。

未来研究方向包括开发本地化处理模块以减少网络依赖，扩展多语言支持能力，以及通过更大规模的实证研究验证系统的学习效果。特别重要的是，需要引入人力资源专家对AI评分进行验证，确保反馈的专业性和准确性。

这项研究为教育技术领域提供了重要借鉴，证明了严肃游戏与先进AI技术结合的巨大潜力。随着技术的不断完善，这种沉浸式培训模式有望在更多专业技能培养场景中发挥作用，为数字化转型时代的教育创新开辟新的路径。