提升Android恶意软件检测能力：ChatGPT对以决策为中心的任务的影响

《ACM Transactions on Software Engineering and Methodology》：Enhancing Android Malware Detection: The Influence of ChatGPT on Decision-centric Task

Android恶意软件检测研究显示，传统决策模型（如Drebin、MaMaDroid）存在数据偏差和低可解释性问题，误报漏报率高，且无法提供详细决策依据。引入非决策模型ChatGPT后，其通过分析静态/动态特征（权限、API调用等），生成详细威胁报告和恶意评分（0-1），可解释性提升89%，但无法直接输出决策。开发者调查表明，95%用户更倾向ChatGPT的深度分析，但需解决其无法决策的缺陷。建议未来结合LLM的可解释性与传统模型的决策能力，构建混合模型并优化数据集。

　　随着大型语言模型（如ChatGPT）的兴起，其非决策性模型特性被应用于多种任务中。此外，ChatGPT也引起了对传统决策性任务的Android恶意软件检测的关注。尽管学者们提出了许多有效的检测方法，但这些方法在可解释性方面存在明显不足。具体而言，这些方法在对应用程序进行良性或恶意分类时表现出色，能够检测恶意行为，但在解释其决策过程方面往往无法提供详细的分析和解释。这一挑战引发了对现有检测方案可靠性的担忧，并质疑了这些方法是否真正理解复杂数据的能力。在本研究中，我们探讨了非决策性模型ChatGPT对传统决策性任务的Android恶意软件检测的影响。我们选择了三个最先进的解决方案，包括Drebin、XMAL和MaMaDroid，进行一系列公开数据集的实验，并进行了全面的比较和分析。我们的研究发现，这些决策驱动的解决方案主要依赖于数据集内的统计模式进行决策，而非真正理解数据背后的本质。相比之下，ChatGPT作为一种非决策性模型，能够提供全面的分析报告，显著提升了可解释性。此外，我们还进行了面向经验丰富的开发者的调查。调查结果表明，开发者的偏好倾向于ChatGPT，因为它能够提供深入的见解，并提升效率和对挑战的理解。同时，这些研究和分析为开发人员提供了新的视角，从非决策性角度增强检测结果的可靠性。

Android操作系统是全球使用最广泛的移动平台。截至2024年第一季度，Android继续占据智能手机市场的主导地位，市场份额超过70%。然而，这种广泛采用也使Android成为恶意攻击的主要目标。令人担忧的是，在2022年，网络犯罪分子每天发布了近135,000种新的恶意软件变种，相当于每分钟超过93次攻击尝试。此外，Kaspersky在2023年阻止了近3380万次恶意软件、广告软件和风险软件的攻击。鉴于Android的普及性，该操作系统仍然容易受到各种攻击，包括凭证窃取、隐私泄露、银行诈骗、勒索软件、广告软件、短信欺骗等。Android恶意软件的威胁对用户构成了重大危险，并且随着恶意软件变得越来越复杂和具有破坏性，这一问题仍在持续升级。例如，勒索软件如LockerPin可以锁住用户设备，而间谍软件如Pegasus可以在未被察觉的情况下窃取敏感数据。此外，银行木马如EventBot可以窃取金融信息，进一步突显了这一问题的严重性。因此，对恶意软件应用程序进行准确分类对于确保系统安全和保护用户隐私至关重要。

为了应对Android恶意软件的威胁，已经提出了许多检测方法，旨在揭示新的攻击模式、设计新的签名或识别恶意代码。例如，Feng等人提出了基于语义的Android恶意软件检测方法，通过静态分析进行研究。Cai等人提出了一系列加权公式，以提高如支持向量机（SVM）等模型的检测效果。Kim等人提出了一种多模态的深度学习（DL）模型，用于检测Android恶意软件。同时，在Android恶意软件检测中，除了基本识别外，还强调对恶意软件进行分类，以提高识别的准确性。例如，Xu等人利用DL技术，将Android恶意软件自动分割成不同的类别。Vij等人引入了一种基于图签名分类的方法。然而，无论这些方法是基于传统机器学习还是先进的DL技术，无论其目标是检测还是分类，它们都面临着可解释性不足的问题。一些解决方案，如Drebin，声称能够提供可解释的恶意软件检测，但往往在提供详细分析和解释方面显得力不从心，无法充分告知开发人员其决策依据。这引发了对现有检测方案可靠性的担忧。特别是在真实数据部署或引入新数据集时，这些现有方案在检测新未知恶意软件时的表现往往不佳。这种检测性能的下降进一步加深了我们对其决策可靠性的担忧。此外，这也导致开发人员对这些解决方案真正理解复杂Android应用程序的能力产生怀疑。

与此同时，随着大型语言模型（LLMs）如ChatGPT的诞生和发展，其出色的分析和理解能力逐渐被挖掘和应用。这种强大的分析和解释能力使得ChatGPT被广泛用于各种任务中。通过适当的提示，ChatGPT可以在多样化的任务中表现出色，细致地分析数据并提供详细的解释。当前解决方案的局限性，加上ChatGPT的分析和解释能力，促使我们重新思考以下问题：在ChatGPT的影响下，是否存在一种从非决策视角检测Android恶意软件的新视角，强调的不仅仅是决策行为，还包括对这些决策背后原因的解释？

为了解答这一问题，我们进行了首次全面的实证研究，深入探讨了决策性模型在Android恶意软件检测任务中的局限性以及ChatGPT对这些模型的影响。选择ChatGPT作为研究对象的一个关键原因在于，它无需额外的训练即可使用。这显著降低了技术门槛，减少了通常需要对模型进行微调或重新训练的时间和资源。与一些其他需要定制或微调的LLMs不同，ChatGPT是一种即开即用的模型，能够提供高质量的结果。此外，它还消除了训练大型模型所需的大量计算资源，使其成为一种高效且经济的解决方案。我们选择了三个最先进的检测解决方案：Drebin、XMAL和MaMaDroid。其中，Drebin和XMAL基于机器学习模型，而MaMaDroid则是基于深度学习模型。随后，我们设计了适当的提示，引导ChatGPT专注于Android恶意软件检测任务，最终形成一个具有结论性的提示。我们将提取的数据输入到现有的Android恶意软件检测系统和ChatGPT中进行评估。最后，我们收集了ChatGPT生成的深入分析报告，并将其与传统检测模型的个体检测结果进行对比分析。

在这一研究中，我们首先利用逆向工程方法从APK文件中提取静态特征。同时，为了获取动态特征，APK在真实的Android设备上进行安装和运行。接下来，我们设计了有针对性的提示，引导ChatGPT关注Android恶意软件检测，最终形成一个完整的提示。提取的数据随后被输入到现有的Android恶意软件检测系统和ChatGPT中进行评估。在最后一步，我们汇总了ChatGPT生成的深入分析报告，并将其与传统检测模型的个体检测结果进行对比分析。通过这种结构化的方法，我们确保模型不仅能够产生相关的内容，还能保持高质量的输出。因此，我们遵循上述三个原则，构建了一个合适的提示。

在本研究中，我们选择三个最先进的解决方案：Drebin、XMAL和MaMaDroid。这些解决方案使用传统机器学习和深度学习技术来识别恶意软件。此外，这些模型使用与我们提取的特征集相同类别。我们设计了一系列实验来衡量这些三种解决方案在准确识别恶意软件样本方面的能力，并将其与ChatGPT进行比较。在我们的实验中，我们选择了Drebin、XMAL和MaMaDroid三个模型，并使用相同的特征集进行分析。我们收集了三个模型的检测结果，并将其与ChatGPT的输出进行了比较。我们的实验结果显示，Drebin、XMAL和MaMaDroid在检测恶意软件方面表现出色，能够准确识别出恶意软件样本。然而，当我们在新的数据集上测试这些模型时，它们的性能出现了下降，这表明这些检测解决方案仍然受到数据集偏见的影响。同时，这也说明这些检测解决方案并未真正理解我们输入的特征，而是主要依赖于数据集中的独特统计模式进行学习。

ChatGPT能够提供详细的分析和解释，但在决策能力上存在不足。我们希望通过这一研究，能够为开发人员提供更多的见解，从而在未来改进Android恶意软件检测。因此，我们设计了三个研究问题（RQs）来进行全面的分析和研究。我们希望这些研究问题能够帮助我们更深入地理解ChatGPT在Android恶意软件检测中的潜力，并为未来的研究提供指导。

我们的研究结果表明，现有的恶意软件检测方案在数据理解方面存在局限性，尤其是在处理未知恶意软件时表现不佳。尽管这些方案在训练和测试数据集上表现出色，但在面对新数据时，它们的性能却显著下降。此外，这些方案在提供详细的分析和解释方面存在不足，无法帮助开发人员理解其决策依据。因此，我们希望通过引入ChatGPT，能够弥补这些不足，并提供更全面的分析和解释。

在本研究中，我们通过实验和用户调查，展示了开发人员对像ChatGPT这样的LLMs的偏好，因为它们在可解释性和分析能力方面表现突出。我们还引入了一种新的视角，即在决策过程中注重解释，以提高模型的可解释性和实用性。通过这种方式，我们希望为未来的Android恶意软件检测提供新的思路和方法。

我们选择ChatGPT作为研究对象，是因为它无需额外的训练即可使用。这显著降低了技术门槛，减少了通常需要对模型进行微调或重新训练的时间和资源。与一些其他需要定制或微调的LLMs不同，ChatGPT是一种即开即用的模型，能够提供高质量的结果。此外，它还消除了训练大型模型所需的大量计算资源，使其成为一种高效且经济的解决方案。我们选择了三个最先进的检测解决方案：Drebin、XMAL和MaMaDroid。其中，Drebin和XMAL基于机器学习模型，而MaMaDroid则是基于深度学习模型。我们随后设计了适当的提示，引导ChatGPT专注于Android恶意软件检测任务，最终形成一个具有结论性的提示。我们将提取的数据输入到现有的Android恶意软件检测系统和ChatGPT中进行评估。最后，我们汇总了ChatGPT生成的深入分析报告，并将其与传统检测模型的个体检测结果进行对比分析。

在本研究中，我们发现现有的恶意软件检测方案虽然能够有效检测恶意软件，但它们仍然受到数据集偏见的影响。在面对新的数据集时，它们的检测效果下降，且误判率显著增加。这表明这些Android恶意软件检测方案未能真正理解输入的特征，而是主要依赖于数据集中的独特统计模式进行学习。此外，我们还发现，ChatGPT虽然无法提供最终的决策，但它能够提供详细的分析和解释，帮助开发人员深入了解应用程序的功能和潜在问题。因此，我们希望开发人员能够通过ChatGPT获得更多的见解，从而在未来改进Android恶意软件检测。

为了进一步提升Android恶意软件检测的能力，我们提出了两个改进方向：一是进一步增强ChatGPT的解释和分析能力；二是构建一个专门用于Android恶意软件检测的大型模型。我们希望通过这些改进，能够为开发人员提供更全面的分析和解释，从而提升Android恶意软件检测的准确性和可靠性。

通过本次研究，我们不仅验证了现有解决方案在数据理解方面的局限性，还展示了ChatGPT在提升可解释性和分析能力方面的潜力。我们希望通过引入ChatGPT，能够为Android恶意软件检测提供新的视角，使其不仅仅关注决策本身，更注重决策背后的原因。这种转变不仅有助于提高检测模型的透明度和可解释性，还能够增强开发人员对检测结果的信任，从而推动Android恶意软件检测技术的发展。

我们相信，未来的研究应集中于如何更好地将LLM与传统恶意软件检测技术相结合。这可能包括开发混合模型，以实现决策速度与可解释性的平衡。此外，还需要进一步研究这些模型在实际操作环境中的有效性，特别是它们的可扩展性、计算需求和实际部署能力。同时，未来的研究还应探讨如何利用LLM更高级的分析能力，以减少误报和遗漏。这可能涉及对模型进行微调，以更好地理解影响恶意软件行为的上下文因素，从而提高检测的准确性和减少错误。

最后，我们总结了本研究的贡献：我们进行了首次全面的研究，探讨了ChatGPT对Android恶意软件检测的影响，并展示了其在可解释性和分析能力方面的优势。通过实验和用户调查，我们证明了开发人员对像ChatGPT这样的LLMs的偏好，因为它们能够提供详细的分析和解释，从而提升恶意软件检测的准确性和可靠性。我们还引入了一种新的视角，即在决策过程中注重解释，以提高恶意软件检测的透明度和实用性。我们希望这些研究结果能够为未来的Android恶意软件检测提供有价值的见解，并推动该领域的进一步发展。