基于MIPS（Media Information Processing System）的多模态深度学习（DL）方法分析欧洲技术类大学TikTok内容偏好

《Electronics》：A Multimodal Deep Learning Approach for Analyzing Content Preferences on TikTok Across European Technical Universities Using Media Information Processing System Drago?-Florin Sburlan and Marian Bucos

　　

摘要：社交媒体平台已成为欧洲技术类大学的主要沟通渠道。然而，全球性平台算法在何种程度上使跨文化个体偏好趋于同质化，目前仍缺乏深入探讨。尽管现有文献对该主题有所启示，但尚未有研究从跨国界与多模态视角考察这一现象。本研究提出媒体信息处理系统（Media Information Processing System，MIPS），一种融合大语言模型（Large Language Models，LLMs）、计算机视觉（Computer Vision，CV）与知识图谱（Knowledge Graph）的隐私保护型多模态深度学习（Deep Learning，DL）框架。研究人员分析了来自罗马尼亚、德国、意大利和俄罗斯六国顶尖技术类大学共2359名关注者分享的15520条公开视频数据。结果表明，关注者兴趣画像的同质化程度显著较高；不同国家关注者的兴趣画像呈高度正相关（平均Pearson r = 0.96；p > 0.90）。共识聚类（Consensus Clustering）进一步揭示出多个稳定度分数高于0.75的主题簇，例如“人类互动动力学（Human Interaction Dynamics）”。上述发现与区域文化分化的传统理论相矛盾，转而提示存在一种超越国界的“数字学生画像（digital student persona）”。

研究背景、问题与意义

社交媒体平台已由娱乐工具演变为高等教育机构的重要沟通渠道，其中TikTok因覆盖大量16至24岁年轻用户，成为高校招生与品牌传播的关键场景。然而，现有研究多以单模态文本爬取为主，鲜有研究同时处理视频、音频与文本，并从跨国比较视角揭示学生群体的内容偏好。与此同时，基于公开API的研究常面临隐私与粒度不足的问题。针对上述不足，研究人员以欧洲六所技术类大学为对象，提出并应用MIPS框架，旨在验证“算法同质化”假设，即平台算法是否使不同国家学生的内容偏好趋于一致。该研究发表于《Electronics》。

研究所用的主要技术方法

2025年8月，研究人员通过TikTok研究账号收集六所技术类大学（罗马尼亚的PUT、PUB、TUC，德国的TUB，意大利的PTU，以及俄罗斯的RTU MIREA）公开账号的粉丝信息，抽取2359名关注者的15520条公开转发视频。方法上，MIPS架构包含五个模块：媒体信息收集器（MIG）抓取公开视频；内容分析器（CA）使用Whisper自动语音识别（ASR）提取并翻译音频，并调用本地离线LLM（Llama 3.3/4、Gemma 3）对转录文本进行摘要，同时借助CV模型对视频帧进行描述；知识图谱设计师（KGD）抽取实体与关系，并通过字形相似度（Levenshtein、Jaro–Winkler）与Word2Vec余弦相似度进行实体消歧，最终存入Neo4j图数据库；统计画像器（SP）基于主题频率构建兴趣画像；预测画像器（PP）用于后续趋势预测，本研究中未深入展开。

研究结果

研究主题聚类与画像同质性

在聚类分析中，研究人员使用RoBERTa模型对领域标签进行嵌入，经主成分分析（PCA）降维后，采用K-means与共识聚类，分别考察簇数在10–15与20–25区间的情形，每个簇数下运行100次并构建共识矩阵。结果显示，稳定主题簇的稳定度分数普遍高于0.75，并不断出现“社会互动与社区（Social Interactions and Community）”“食物与烹饪（Food and Cuisine）”“个人身份与特征（Personal Identity andCharacteristics）”“人类概念与行为（Human Concepts and Behavior）”“青年与发展（Youth and Development）”“基础设施与系统”以及“数字媒体技术”等共性主题。以Calinski–Harabasz（CH）指标最优的10簇方案为例，各大学关注者主题偏好的相关系数均大于0.92，平均Pearson r = 0.96，最低值0.74、最高值0.99；χ²检验的p值大多高于0.90，Cramér’s V均低于0.05，表明学校归属与主题偏好之间无显著关联。4800组参数组合中的平均p值持续高于0.90，平均Cramér’s V低于0.05，进一步说明同质化效应具有稳健性。层次聚类结果虽显示RTU MIREA、TUC等个别学校时常单独成支，但总体仍支持画像高度一致。

时间动态与算法因素

为探讨算法对STEM社区兴趣的潜在影响，研究人员以PUB为例，对每个主题簇的时间戳计算Kolmogorov–Smirnov距离（KS）、变异系数（CV）与归一化Shannon熵。结果显示，KS值介于0.559至0.623，熵值约0.60，CV值介于2.35至4.65，均值约3.47，均不符合均匀分布，表明主题兴趣虽跨越多年时间窗，但以波段形式集中出现，可能受平台趋势、事件周期或算法放大效应驱动，而非仅由稳定的内在兴趣决定。

研究讨论与局限

上述发现挑战了欧洲区域文化分化的传统观点，转而支持“数字学生画像”的存在，即高校学生因算法推荐和共同学术生活方式形成跨国趋同的线上偏好。研究局限性包括：平台算法偏向全球热门内容格式可能放大同质化；粉丝本地学生身份的推断依赖间接证据；LLM的概率性输出虽通过多轮共识聚类加以缓解，但仍存在语义标注变异性。

研究结论

本研究旨在确定欧洲技术类大学TikTok用户偏好的同质化程度。通过在MIPS框架内采用所提出的多模态方法，本研究为用户内容偏好的高度主题同质化提供了经验证据，从而对区域文化分化的现有理论提出质疑。研究的主要贡献在于，通过不同关注者队列之间高水平的聚类与相关性，为用户内容偏好的高度主题同质化提供了经验证据。这一发现支持一种超越国家边界的“数字学生画像”的出现，其受到算法趋势与STEM学术生活方式的影响。大学在社会媒体传播策略中不应再强调区域文化分化，而应认识到全球化的算法趋势以及学生对学术、技术和健康等主题的普遍兴趣正在发挥文化均衡器的作用。因此，更合适的社交媒體传播策略应专注于创作与这些普遍相关主题相关的高质量内容。值得注意的是，尽管本研究聚焦于TikTok平台，但更全面的方法可纳入其他社交平台（如Instagram、Facebook和X）或学术论坛。更广泛的数据收集有助于捕捉更丰富的用户行为和内容偏好，使分析更加细致。在方法改进方面，MIPS管道仍有优化空间。例如，不同LLM可能更适合识别不同实体；引入基于断言推理的机制可改善解释；亦可采用能够理解关键帧视频上下文的多模态模型来升级帧描述组件。尽管如此，LLM生成的摘要仍受提示设计影响，并可能因其概率本质而存在变异；同样，为聚类分配语义标签也可能引入变异或错误，如文中所示，LLM可能为相似主题生成略有不同的名称，需要人工复核或其他自然语言处理技术进行语义合并。然而，即便LLM输出可能存在偏差、不完整甚至错误，在本研究的社交媒体分析场景中，它们仍为理解用户偏好提供了有价值的洞见。未来将通过人在回路（human-in-the-loop）验证流程来克服这一局限，对AI生成标签和视频内容的随机子样本进行专家人工评估，以定性验证聚类过程的鲁棒性与文化准确性。尽管本研究的实证价值已通过所研究的大量个体与测试案例得到证明，但仍可能存在未充分表征的重要因素（如用户人口统计学特征或在线行为），这些因素可能影响研究的准确性与可靠性，是未来可以深化的研究方向。在此框架下，进一步发展包括对输入扰动（如帧提取、音频/视频加噪）引起输出变化是否有限的稳定性研究，即从Lipschitz常数角度验证MIPS序列管道的稳定性。其他研究思路还包括谱聚类或密度聚类（DBSCAN）等替代聚类方法、时间序列聚类以捕捉偏好变化，以及利用知识图谱量化指标（节点数、中心性）验证结果。最后，MIPS被专门设计为一种隐私保护架构，在公共技术高等教育场景中使用本地LLM进行大规模社交媒体分析。本研究仅使用与所调查大学相关的公开TikTok视频，依据《通用数据保护条例》（GDPR）未收集、处理或存储任何个人可识别信息；所有多媒体内容仅用于分析并在使用后立即删除，确保符合数据最小化与存储限制原则；构建的知识图谱通过匿名化措施防止个体识别、关联与推断。研究成果公开发表，旨在促进透明并服务于公共利益。