《IEEE Transactions on Mobile Computing》：Comparison of Network Performance Metrics for Dependable IoT Systems
编辑推荐：
随着物联网(IoT)的出现，人类日常生活的许多方面正发生转变。数十亿智能设备在全球范围内相互连接，为个体执行高效的决策，这提高了它们被认定为可信系统的要求。因此，此类系统的性能变得至关重要，其本质上取决于系统组件与底层网络的正常运行。传统上，网络性能通过丢包率
随着物联网(IoT)的出现，人类日常生活的许多方面正发生转变。数十亿智能设备在全球范围内相互连接，为个体执行高效的决策，这提高了它们被认定为可信系统的要求。因此，此类系统的性能变得至关重要，其本质上取决于系统组件与底层网络的正常运行。传统上，网络性能通过丢包率、数据包投递率、吞吐量和延迟等因素来衡量，但上述指标未能为系统可信性提供令人满意的度量。在本研究中，研究人员提出了用于分析物联网网络在不同类型负载(如视频、语音和文本流量)下行为的解析公式。研究人员还考察了以FTP(文件传输协议)和CoAP(受限应用协议)为例的网络弹性。这些度量被系统地与ISO/IEC 25010中定义的质量特性相关联，从而为评估物联网网络的性能与可信性提供了一个统一的框架。所提出的方法有助于更深入地理解在物联网应用中影响网络连通性和系统整体鲁棒性的因素。
一、研究背景、问题与动机
随着物联网(IoT)技术的迅猛发展，数十亿智能设备通过互联网实现全球互联，为个体决策提供高效支持。此类系统能否被认定为可信系统，取决于其组件与底层网络的协同运行。传统网络性能评估通常依赖丢包率、数据包投递率(PDR)、吞吐量和延迟等指标，但这些指标难以全面反映系统的可信性(dependability)。可信性涵盖可用性(availability)、安全性(safety)、安全(security)、可靠性(reliability)和弹性(resilience)等非功能性属性。现有研究大多聚焦单一性能维度，例如协议效率、链路质量预测或网络优化，缺乏将传统网络指标与功能正确性(FC)、可用性、响应性、可靠性和弹性等抽象可信性属性进行系统关联的统一框架。尽管ISO/IEC 25010软件质量模型已定义了相关质量特性，但其在物联网上下文中的实际映射仍有待探索。为此，研究人员提出了一套面向物联网网络的可信性评估框架，旨在弥合传统网络性能指标与高层次可信性属性之间的鸿沟。该研究成果发表于《IEEE Transactions on Mobile Computing》。
二、关键技术方法
研究人员基于NetSim 11.0.21仿真平台搭建了包含四个静态传感器节点的物联网场景：四个传感器随机部署于500 m×250 m区域内，通过Zigbee(IEEE 802.15.4)协议经由网关、路由器和接入点与无线服务器通信；源节点为传感器1，目的节点为无线节点8。主要技术包括：(1)在物理层、网络层及传输层分别利用Zigbee、IP和UDP/TCP协议度量计算FC；(2)基于碰撞数据包数量评估可用性；(3)基于往返时间(RTT)计算响应性；(4)基于链路吞吐曲线的移动平均计算平均故障间隔时间(MTBF)以评估可靠性；(5)采用Francis-Bekera弹性模型计算网络弹性。实验考察了视频、语音、FTP和CoAP四种应用流量。
三、主要研究结果
5.1 功能正确性(FC)：通过在物理层、网络层和传输层分别计算FC值发现，视频、语音和FTP应用在物理层具有较高的FC值。视频与语音基于UDP传输以追求快速投递，FTP基于TCP进行多文件传输因而功能缺陷较少；CoAP虽基于UDP但缺乏流控机制，导致性能下降。网络层因假设无噪声环境，所有应用的FC均较高。传输层上，FTP因TCP分段数量多而呈现较低的FC值。
5.2 可用性：基于碰撞数据包数量计算的可用性指标显示，CoAP的可用性最低。由于其请求-响应模型完全依赖ACK消息确认投递，当客户端发送CON消息后若收到空ACK则需重传，重传导致碰撞概率升高，可用性下降。
5.3 响应性：在100 ms仿真时间间隔内，视频、CoAP和语音应用生成了大量数据包，而FTP仅生成16个数据包。比较相同数量数据包的RTT发现，FTP每个数据包包含大量分段，碰撞与重传概率增大，RTT值快速升高，因而响应性最低。
5.4 应用级指标：CoAP因缺乏流控机制，无线网络中的吞吐量最低；FTP因分段数量多、碰撞概率高，端到端延迟最大，PDR值亦低于其他应用。
5.5 可靠性指标：利用仿真器提供的链路吞吐曲线，通过移动平均曲线计算MTBF。视频、语音和FTP应用以高频发送大量数据包，观测故障次数较少，MTBF较高，因此可靠性较高；CoAP的平均吞吐量计算结果表明其可靠性最低。
5.6 弹性：基于Francis-Bekera弹性模型对链路吞吐曲线进行随机时间采样分析，CoAP的性能下降后水平F
d与恢复后性能水平F
r差异显著，弹性系数最低，表明其在扰动后恢复能力最弱。
四、讨论与结论
讨论部分指出，应用特性与可信性本质上是网络数据通信有效性的反映。在非理想环境中，网络扰动(丢包、延迟、节点故障)不应永久损害系统的功能正确性，而应激活自适应机制以恢复正常运行。传统QoS指标不足以支撑大规模物联网场景的性能评估，弹性感知的协议设计对于保障真实环境下的可信运行至关重要。综合而言，本文提出了六种可用于评估底层网络可信性的指标；仿真结果揭示了四种应用场景下网络的行为特征；CoAP在FC、可用性和吞吐量方面性能最低，FTP在响应性和PDR方面表现最差；应用性能与数据投递信道的FC、网络可靠性和弹性密切相关；未来将把相同场景部署于物理模型上进行验证。
