密码学报(中英文)杂志 投稿格式参考范文：隐私保护深度学习研究综述

　　1 引言

　　大数据时代数据量增长推动深度学习发展，其在图像分类、语音识别等领域表现出色。但训练强大模型需大量数据和算力，单方环境难以满足，故各大公司搭建深度学习即服务(DLaaS)，利用云端资源训练模型，用户通过 API 调用获取预测结果。然而，DLaaS 模式下隐私数据流转存在泄露风险，如医疗数据泄露、模型参数被窃取等。随着隐私保护意识增强，结合隐私保护与云端深度学习成为热点问题。现有综述多按密码工具、应用方向或阶段分类，本文按线性层和非线性层分类，更贴合设计者思路，且梳理近两年新工作，总结发展脉络与挑战。

　　2 隐私保护深度学习系统模型与威胁模型

　　2.1 隐私保护深度学习系统模型

　　云端深度学习分为训练和预测阶段，涉及互不信任的双方，需满足：训练阶段用户数据不以明文暴露给云端;预测阶段用户查询样本不以明文暴露;模型参数在两阶段均不暴露给用户。训练阶段模型中，用户加密数据上传，与云端交互式训练模型，模型可保存在云端或秘密分享在两端。预测阶段模型中，用户上传密文样本，云端返回密文结果，用户解密获取预测值。

　　2.2 威胁模型

　　威胁模型主要包括半诚实模型和恶意模型。半诚实模型中参与方诚实但好奇，需保证协议交互不泄露结果外信息;恶意模型中参与方可能不按协议执行，需满足半诚实安全性并验证参与方是否合规。

　　3 相关知识

　　3.1 深度神经网络

　　深度学习通过深层神经网络结构完成特征提取，深度神经网络由交替的线性层和非线性层构成。线性层核心运算为矩阵加法和乘法，包括全连接层、卷积层等，其输出送入非线性层。非线性层本质为非线性激活函数，分为分段线性函数、光滑函数和用于输出层的函数，如 ReLU、Sigmoid、Softmax 等。

　　3.2 同态加密

　　同态加密可在密文下运算，解密后得与明文运算相同结果。包括部分同态加密(PHE)、类同态加密(SHE/LFHE)、全同态加密(FHE)和多密钥同态加密(MKHE)，各方案优缺点不同，如 FHE 支持所有运算但计算开销大，LFHE 通过打包技术提速。

　　3.3 不经意传输

　　不经意传输是多方安全计算基础协议，允许接收方从发送方秘密中选择一个获取，而发送方不知接收方选择哪一个。包括 1-out-of-2 OT 和 1-out-of-n OT，经不断优化走向实用。

　　3.4 混淆电路

　　混淆电路基于不经意传输，可使双方在互不知晓秘密数据前提下计算逻辑电路表示的函数。Yao 提出的协议通过生成混淆真值表等流程实现计算，后续方案不断优化以降低通信量。

　　3.5 秘密共享

　　秘密共享将秘密拆分存储，需指定数量参与方合作才能恢复。包括加性秘密共享、Shamir 门限秘密共享和 GMW 协议，可用于多方安全计算，通过离线阶段生成乘法三元组减少在线开销。

　　3.6 可信执行环境

　　可信执行环境通过硬件构建安全区域保护数据机密性和完整性，如 Intel SGX 和 ARM TrustZone，但存在侧信道攻击等安全挑战，应用仍在发展中。

　　4 隐私保护深度学习线性层研究现状

　　4.1 线性层不同方案的更迭

　　线性层实现方案主要有同态加密、不经意传输、秘密共享和混淆电路。同态加密是热门方向，研究时间跨度长;秘密共享是新趋势，通过离线阶段减少在线开销;不经意传输和混淆电路适用于二值神经网络等轻量模型，因计算和通信开销大，近年应用较少。文献数量上，同态加密最多，秘密共享次之。

　　4.2 线性层同类方案的不断优化

　　同态加密实现线性层：从方案选择(如 LFHE 结合 SIMD)、协议优化(减少旋转移位、减小参数)、运行环境(利用 GPU、可信执行环境)和应用模型(频域卷积神经网络、贝叶斯神经网络)等方面优化。

　　不经意传输实现线性层：通过更换公钥体系、离线生成乘法三元组、应用于三值神经网络等优化，但受限于按位计算和通信开销，适用场景有限。

　　混淆电路实现线性层：应用于二值神经网络，使用更高效的混淆电路方案(如异或门优化)，但通信开销大，适合轻量模型。

　　秘密共享实现线性层：在计算参与方(两方到多方)、离线协议与硬件兼容性(结合同态加密生成秘密分享数)、应用场景(边缘计算、防模型窃取)等方面优化，在线延迟低但通信开销大。

　　5 隐私保护深度学习非线性层研究现状

　　5.1 非线性层不同方案的更迭

　　非线性层实现方法包括同态加密、秘密共享、混淆电路、不经意传输和修剪模型。同态加密需对非线性层近似或替换，影响精度;混淆电路适合非线性运算，但与线性层表示转换开销大;秘密共享通过比较协议实现部分非线性层，通信开销大;修剪模型通过减少 ReLU 计算提升效率，需平衡精度。文献数量上，混淆电路、秘密共享、同态加密较热门，修剪模型是新兴方向。

　　5.2 非线性层同类方案的不断优化

　　同态加密实现非线性层：采用线性单元替换、多项式近似、二进制友好同态方案、发回用户端计算、结合秘密共享与线性层等方法，需平衡精度与计算开销。

　　混淆电路实现非线性层：选用 Yao 方案，减小输入维度与门电路数量，减少 ReLU 开销(如调整计算顺序、随机 ReLU)，应用于离散神经网络，优化目标为减少通信开销。

　　秘密共享实现非线性层：包括发回用户端计算、设计比较大小协议、多项式近似、函数秘密共享、不平均位宽法、应用于 BNN 等，通信开销是主要挑战。

　　不经意传输实现非线性层：通过安全比较协议实现 ReLU 等非线性层，通信开销小但适用范围有限，需优化协议以计算其他非线性函数。

　　修剪模型：针对 ReLU 层，采用针对跳跃连接、按层删除、按阶段删除等策略，在提升效率同时尽量保持精度。

　　6 代表性方案端到端综合对比

　　从密码原语、软硬件辅助、威胁模型、模型精度等维度综合对比代表性方案。混合原语方案(如 HE+GC、SS+GC)效率较高，借助软硬件辅助(如 GPU、可信执行环境)可进一步提升速度。实际应用中需平衡效率、安全性、模型精度与复杂度，混合协议、软硬件辅助和模型修剪是高效方案的关键。

　　7 面临困难与发展方向

　　7.1 效率与模型复杂度的矛盾

　　打造密态计算友好的深度学习模型：设计利于密态计算的非线性模块，利用模型容错能力优化结构。

　　打造隐私保护深度学习生态：完善开发框架与开源生态，提升易用性、兼容性和安全性，促进跨领域研究。

　　7.2 效率与协议安全性的矛盾

　　借助可信执行环境：利用硬件提升计算速度，解决 SGX 飞地空间限制和侧信道攻击等问题。

　　进行攻击代价评估以及隐私泄露代价评估：量化攻击与隐私泄露代价，确定安全强度，实现效率与安全的平衡。

　　7.3 效率与预测准确率的矛盾

　　挖掘不使预测准确率下降的提速方法：结合线性层与非线性层设计，避免表示转换开销，提升整体效率。

　　加强效率与准确率的量化评估：根据应用场景构建量化体系，在允许精度损失范围内提升效率。

　　8 结论

　　隐私保护与深度学习结合是未来趋势。本文按线性层和非线性层分类回顾相关工作，分析不同方案优劣与优化方向，综合对比代表性方案，指出面临的困难并提出发展方向，为该领域研究提供参考。

陈品极;何琨;陈晶;杜瑞颖,武汉大学;国家网络安全学院,202404