《Array》：Deepfake Aware Cyberbullying Detection Using A Siamese CNN–LSTM Framework With Particle Swarm Optimization
编辑推荐：
数字通信平台的快速发展使网络欺凌日益普遍，深度伪造（deepfake）语音技术可生成极高逼真度的合成语音，进一步加剧了该问题。现有网络欺凌检测技术多聚焦文本数据，常不足以分析基于语音的交互及被篡改的音频内容。为解决上述问题，研究人员提出一种新颖的深度伪造感知网
数字通信平台的快速发展使网络欺凌日益普遍，深度伪造（deepfake）语音技术可生成极高逼真度的合成语音，进一步加剧了该问题。现有网络欺凌检测技术多聚焦文本数据，常不足以分析基于语音的交互及被篡改的音频内容。为解决上述问题，研究人员提出一种新颖的深度伪造感知网络欺凌检测框架，其基于孪生卷积神经网络-长短期记忆网络（Siamese Convolutional Neural Network Long Short Term Memory, Siamese CNN–LSTM）架构，并采用粒子群优化（Particle Swarm Optimisation, PSO）进行优化。所提模型利用CNN从声谱图表示中提取空间声学特征，同时LSTM记录语音序列中的时序依赖关系；通过孪生网络与对比损失函数度量成对语音输入间的相似性并学习判别性嵌入（embedding）。PSO用于优化关键超参数，提升收敛效率与模型性能。框架在CVPPD（Cyberbullying Victim and Perpetrator Profile Dataset，含5000样本）及2000条深度伪造生成语音样本上测试。时序音频特征分析通过语音活动、过零率、短时能量与音高轮廓捕捉可量化语音变化，提取时序特征统计摘要显示过零率均值约0.04、短时能量均值约3950、音高均值近680 Hz，反映语音动态显著时序变化。模型在有效区分网络欺凌、真实与深度伪造音频的同时捕捉语音模式细微差异，结果优于基线方法，准确率达96.5%、精确率96.0%、召回率96.2%、F1-score为0.961。该方法为增强数字安全、支持实时监测系统及应对AI生成语音操纵带来的新型风险提供了可扩展、可靠且实用的手段。
研究背景方面，社交媒体与数字通信技术的快速演进使网络欺凌成为全球性严重问题，尤其在学生与年轻用户中可致长期心理困扰与学业下滑。传统检测多局限于文本，而语音交互因承载语境微妙性、情绪语调与说话模式而更复杂；深度伪造语音技术（如Tacotron 2、WaveNet）可低资源克隆人声，催生语音冒充、伪造音频证据等新型欺凌，现有方法缺乏深度伪造感知与相似性表征学习。作者前期混合Aquila优化语音欺凌检测研究未覆盖深度伪造与孪生学习，故亟需鲁棒框架。
该研究由Teena Jaiswal、Varinder Kour Attri与Ram Narayan Jaiswal（印度Guru Nanak Dev University计算机科学系）开展，发表于《Array》。研究人员构建扩展版CVPPD数据集（5000真实语音：2333非欺凌+2334欺凌）并合成2000深度伪造语音（Tacotron 2/WaveNet生成），总计7000条、44.1 kHz、1–2分钟，按说话人无关分层划分70%/15%/15%训练/验证/测试，严防数据泄露。提出基于孪生CNN–LSTM与PSO优化的深度伪造感知三分类（网络欺凌/真实/深度伪造）框架，得出准确率96.5%、精确率96.0%、召回率96.2%、F1-score 0.961、MCC 0.958的结论，证明相似感知嵌入与超参优化可显著提升真实-合成语音判别力，为数字安全提供可扩展方案。
关键技术方法上，研究人员采用四类方法：一、预处理与特征提取，对语音重采样、归一化、降噪、语音活动检测（VAD），经短时傅里叶变换（STFT）得声谱图，并提取VAD决策、过零率（ZCR）、短时能量、音高轮廓等帧级时序特征及其均值标准差；二、空间-时序深度学习，CNN（三层32/64/128滤波器、3×3核、ReLU、最大池化、批归一化）提声谱空间特征，双层128单元LSTM（tanh、dropout 0.5）模时序依赖，输出嵌入向量；三、孪生对比学习，双分支同构CNN–LSTM处理配对输入（真-真、真-欺凌、真-深伪），对比损失拉进同类嵌距、推远异类（带margin）；四、粒子群优化（PSO，种群20–30、迭代30–50、惯性权0.7、c1=c2=1.5）调学习率、CNN滤波器数、LSTM单元数、dropout、batch size，适应度取验证集F1。样本队列即上述CVPPD扩展集+合成深伪集，说话人隔离划分。
研究结果各节简要如下：3.1系统工作流节，经数据收集、预处理、STFT声谱、孪生CNN–LSTM嵌入、对比损失、PSO调参至三分类输出，证明端到端流程可行；3.2预处理与特征提取节，STFT将信号映至时频域供CNN输入，确立空间特征来源；3.3 CNN空间提取节，卷积操作与ReLU非线性获局部频率强度模式，池化降维；3.4时序音频特征提取节，定义VAD、ZCR、短时能量、基频轮廓公式并给出统计摘要（ZCR≈0.04、能量≈3950、音高≈680 Hz），证时序描述子补空间表征；3.4 LSTM时序建模节，列遗忘/输入/输出门与细胞态方程，证门控机制捕长程语境；3.5孪生相似学习节，阐释三分类下仍以成对对比学习增强嵌入可分性，非替代多类分类；对比损失节给出带margin距离损失式；3.6 PSO节，列速度-位置更新式与适应度（Accuracy+F1），证避免手动调参；3.7数据集扩展与平衡节，表1示三类各约2333–2334条、总7000，表2示70/15/15说话人无关分层与仅训练集增广（音调平移/时间拉伸/加噪）；3.8防泄露节，匿名说话人ID分组、配对不跨集、PSO仅用训练+验证，测试结果可信。
讨论与结论翻译：本研究提出基于孪生CNN–LSTM并经PSO优化的深度伪造感知网络欺凌检测框架，在平衡说话人无关实验集上表现强劲，准确96.5%、精确96.0%、召回96.2%、F1 0.961，有效融合空间-时序特征与相似性学习识别欺凌及深伪语音；时序特征（ZCR均≈0.04、短时能量均≈3950、音高均≈680 Hz）补声谱空间特征以捕动态与合成不一致；消融与混淆矩阵证各模块贡献，框架可扩展可靠地提升在线安全与抑欺凌风险。未来可融文本视频多模态、边计算实时部署、扩印度语种、引可解释AI（XAI）与Transformer/联邦学习，但跨数据集验证与延迟分析留待后研。
