摘要
随着物联网（IoT）的迅速普及及其在医疗保健、家庭和工厂等敏感领域的广泛应用，安全性日益成为一个关键问题。物联网仍然是最难以保障安全的领域之一，因为它缺乏可管理的规模、维护良好的软件以及易于防护的统一环境。大型语言模型（LLMs）最近被用于提高物联网的安全性；然而，大多数应用将这些模型视为“现成”的工具，导致领域不匹配，因为模型表示、分词器和数据收集器是为自然语言设计的，而非网络流量。在本文中，我们提出了CyberRoBERTa，该模型专门设计用于测试是否通过使用领域特定的单词分词器和专注于物联网的数据收集器，能够真正提升物联网入侵检测的能力。我们将这个框架实现为一个包含1020万个参数的紧凑模型，专为完全自主的设备操作而设计。利用CICIoT2023、TON_IoT和Edge-IIoTset数据集进行测试，该模型在二元分类任务上的F1分数达到了96%，在多类分类任务上的F1分数达到了89.54%。我们通过三种方式进一步验证了这些结果：与传统的机器学习基线进行比较显示了相当的准确性；在匹配的预训练条件下，单独分析分词器的贡献表明其优势依然存在；评估针对类别不平衡的干预措施显示在最数据稀缺的类别上检测效果得到改善。
