基于可扩展的现场可编程门阵列（FPGA）加速的深度学习技术实现实时细胞分选

《Digital Discovery》：Real-time cell sorting with scalable in situ FPGA-accelerated deep learning

实时细胞分类与FPGA加速技术

　　
生物医学诊断与治疗中，精准的细胞分类技术至关重要。传统方法依赖分子标记，存在成本高、耗时长、可能干扰细胞自然状态等局限性。同时，实时微流体细胞分选器要求在毫秒级窗口内完成决策，现有机器学习模型难以满足这一需求。针对上述问题，研究者提出了一种无需分子标记的机器学习框架，专为实时分选应用设计，并利用 bright-field 显微图像进行细胞分类。该框架通过教师-学生模型架构与知识蒸馏技术，在保证高准确性的同时显著降低计算资源需求，最终实现亚微秒级延迟，为临床实时细胞分选提供了新解决方案。

**核心创新点与实施路径**
研究以T4、T8、B三类淋巴细胞为对象，构建了包含80,000张预处理图像的公开数据集（LymphoMNIST）。数据采集覆盖全年季节变化，通过高分辨率DIC显微成像记录细胞形态特征，并采用YOLOv5算法实现自动化细胞检测与标准化处理（图7）。为突破传统方法的瓶颈，研究团队设计了双阶段优化策略：
1. **教师模型构建**：基于ResNet50架构的深度神经网络（TN）通过大规模数据训练，在B细胞与T4细胞分类任务中达到98%的准确率。模型采用120×120像素输入，结合随机旋转、缩放、对比度调整等多维数据增强，有效抑制过拟合。值得注意的是，教师模型对T8与B细胞的零样本分类准确率达93%，为后续扩展至其他细胞类型奠定基础。

2. **学生模型优化**：通过知识蒸馏技术，将教师模型的知识迁移至轻量化学生模型。最终生成的学生模型2（SN2）参数量仅5,682个（教师模型28百万的0.02%），在T4/B分类任务中仍保持97%的F1分数。模型架构采用轻量化CNN设计，通过参数量化与硬件级优化（HLS工具链）实现性能跃升。

**实时分选技术突破**
为满足微流控分选器的亚毫秒级响应要求，研究团队开发了专用硬件部署方案：
- **FPGA加速架构**：利用Euresys帧 grabber FPGA平台，通过定制IP核将SN2模型直接嵌入图像采集链路。经实测，模型推理延迟降至14.5微秒，全流程检测到分选触发时间仅24.7微秒，较现有最优方案（183微秒）提升12倍，较GPU方案（325微秒）快22倍。
- **资源效率优化**：采用动态资源分配策略，关键卷积层设置低并行度（1-2个操作共享硬件单元），而全连接层则启用高复用率（25个操作共享单元）。该设计使DSP资源利用率达95%，同时保持运算吞吐量81,000帧/秒。硬件实现中创新性地将神经网络推理与图像采集周期流水线处理，实现14.5微秒的端到端延迟（图6）。

**临床应用潜力与扩展性**
实验表明，SN2模型在真实场景中表现出优异的泛化能力：
- 在T8/B细胞分类任务中，通过零样本学习达到93%准确率，经8轮微调后提升至97%
- 在跨疾病数据集测试中，对白血病细胞的分类F1分数较ImageNet预训练模型提升1%
- 模型支持参数级压缩（5000倍），且保持与教师模型相当的分类性能（F1>0.97）

研究特别解决了三大技术挑战：
1. **数据多样性增强**：通过18个月跨季节采集（温湿度波动±5%）、年龄分层（65%青年鼠+35%老年鼠）构建鲁棒数据集
2. **模型轻量化策略**：采用知识蒸馏压缩参数量，结合HLS工具链实现7层神经网络的硬件加速
3. **端到端实时性**：通过帧 grabber FPGA直接部署模型，消除PCIe数据传输延迟（原占时30%），使全流程延迟压缩至25微秒以下

**技术路线图与标准化贡献**
研究提供了完整的开源生态链：
- **数据层**：发布LymphoMNIST标准数据集（含80,000张64×64像素图像），支持pip安装
- **模型层**：开源教师模型（ResNet50变体）与学生模型（SN1/SN2）的PyTorch实现代码
- **硬件层**：提供从Python模型到FPGA部署的完整工具链（图5流程），支持Xilinx/Intel等主流FPGA
- **评估体系**：建立包含延迟、吞吐量、模型压缩比的三维基准测试框架

该框架已在特定应用场景验证：
- **细胞分选效率**：81,000帧/秒处理能力，支持每秒300+细胞实时分类
- **设备兼容性**：适配Euresys、Xilinx等主流硬件平台，支持第三方FPGA开发板
- **扩展接口**：预留多路传感器输入通道，可无缝集成电化学、荧光标记等多模态数据

**未来发展方向**
研究团队计划在以下领域深化：
1. **多细胞类型融合**：将现有T/B细胞分类模型与祖细胞、干细胞等新型细胞类型识别功能结合
2. **动态学习机制**：开发在线增量学习模块，支持分选过程中细胞特征的持续更新
3. **跨模态扩展**：集成荧光标记与bright-field成像数据，提升稀有细胞（如 Regulatory T细胞）检测灵敏度

该研究不仅重新定义了实时细胞分选的技术边界，更通过开源生态推动临床转化。其核心价值在于建立了首个符合FPGA硬件特性的端到端细胞分选系统，为后续开发基于微流控的个性化治疗分选平台提供了关键基础设施。