雷达学报杂志投稿格式参考范文：向毫米波动作识别的视觉辅助信道仿真技术

　　1 引言

　　泛在无线感知由于其在非接触性、感知通信融合性、隐私保护等方面得天独厚的优势，已经逐渐成为下一代无线通信系统的一项核心功能。在这个背景下，无线人体动作识别(HMR)的研究得到了广泛关注。该技术旨在利用人体运动带来的信号传播特性变化，推测人体的动作或状态。

　　大量的现有工作致力于基于信道状态信息(CSI)、调频连续波(FMCW)雷达或被动式感知来实现人体动作识别。在这些研究中，绝大多数的工作需要采集大量的带标签的实测信道数据或接收信号，并训练人体动作识别的人工智能模型。训练数据的采集往往会消费大量的人力、物力和时间;实测数据的采集往往很难覆盖到所有的人体动作识别的场景。为了弥补现有工作的不足，本文提出了一种计算机视觉辅助、面向人体动作识别的无线信道仿真方法。该方法旨在利用信道的计算机仿真替代上述训练数据的实测采集。

　　近年来，学术界和工业界纷纷致力于拓展现有无线信道模型，添加对被感知目标的建模，为面向人体动作识别的无线信道仿真提供了可能性。以 IEEE 802.11bf 国际标准为例，该标准提出了一种数据驱动的混合信道模型(DAHC)，即将无线信道划分为目标无关信道和目标相关信道两部分：前者反映传输环境对无线信道的影响;后者反映被感知对象对无线信道的影响。现有的面向通信的无线信道模型可用于对前者进行建模，而人体基元模型则可用于对后者进行建模。美国国家标准与技术研究院(NIST)在毫米波 WiFi 标准 IEEE 802.11ay 基于射线追踪的准确定性信道模型的基础之上，添加了额外的目标相关射线(TRays)，并开发出了相应的软件 WiGig Tools。

　　在学术界，有研究者使用类似的信道模型来优化通感一体系统下的通信感知的综合性能。另有研究者基于 FMCW 雷达以及预设人体运动模型开发了微多普勒谱仿真器 SimHumalator，旨在解决实际微多普勒数据集不均衡的问题。上述研究工作均基于特定的人体基元模型实现了对动作导致的微多普勒效应的仿真;然而这些工作并没有解决多样化动作参数的来源问题。为了让深度神经网络能够广泛适用于不同感知对象的动作识别，对深度神经网络进行训练的动作需要具备多样性;而收集大量人体动作的运动参数将花费不小的成本。

　　针对上述动作参数的采集问题，有研究者使用人体网格运动模型，以参数化生成各种人体动作的轨迹，并开发出用于人体跌倒检测的 FMCW 回波仿真器 SIMFALL。还有研究者采用时间 - 频率扩散模型 RFDiffusion 对 Wi - Fi 及 FMCW 信号进行建模和生成，模拟产生多样性的动作参数。但是，这种动作参数的生成方法并不是来自实际的人体动作。另有研究人员针对手势识别的应用场景，利用计算机视觉工具采集人体手部 21 个三维关键点的运动参数，并以此初步完成了各种常见手势的信道仿真。

　　本文在文献所提出基元法信道仿真方法的基础上，进一步研究利用计算机视觉技术和计算机仿真方法进行人体整体动作识别的技术。具体而言，本文首先介绍了对包含完整人体的无线信道进行建模和仿真的方法，包括如下步骤：首先利用基元模型将人体建模为 35 个相互连接的椭球，并从包含人体动作的视频中提取出人体在进行对应动作时各个椭球的运动数据;其次利用简化的射线追踪方法，针对动作中基元模型的每一帧计算对应的信道响应;最后对信道响应进行多普勒分析，获得对应动作的微多普勒时频谱。

　　由于视频资源的极大丰富，采集人体运动参数的开销极小。从视频中仿真获得的微多普勒时频谱用于动作识别神经网络的预训练。由于仿真获得的微多普勒时频谱与实测动作的微多普勒时频谱可能存在细节特征上的差异，我们在实际动作识别之前还利用了迁移学习对预训练后的神经网络进行调整。在实验中，我们针对 “步行”“跑步”“跌倒”“坐下” 这 4 种常见的人体动作在 60GHz 频段上进行了信道仿真及动作识别的测试。实验结果表明，通过仿真数据集预训练的深度神经网络在实测数据集中平均识别准确率可以达到 73.0%。此外，借助无标签迁移学习，通过少量实测数据的微调准确率可以进一步提高到 93.75%。

　　2 仿真器框架

　　本文所提出的无线信道仿真器是基于人体基元模型构建的。其中，信道仿真器可以分为两个部分：(1)无线信道生成器;(2)人体动作捕捉器。前者利用人体三维关键点的运动数据构建人体基元，计算雷达截面面积模型(RCS);并在给定收发机的位置的情形下，通过射线追踪的方式仿真人体基元及静态环境所产生的信道冲激响应。后者则基于现有的计算机视觉领域的人体关键点提取工具，从海量的人体动作视频中提取人体三维关键点运动数据，将其作为无线信道生成器的输入。

　　在无线信道仿真器中，发射机、接收机以及人体目标可以被设置在一个全局坐标系中任意的位置。一个完整的人体动作可以分解为一系列以 Δts 为时间间隔的时间戳上的姿势。在每一个时间戳 t 上，我们假设无线信道冲激响应(CIR)是准静态的，并通过基元法进行仿真信道生成。具体来说，我们通过使用 I 个人体三维关键点(即人体关节)和 N 个连接相邻两个关键点的椭球基元来建模人体运动目标，并利用每个椭球中心的散射径来对非视距(NLoS)信道进行建模。

　　在本文中，时间戳 t 上的无线信道冲激响应可以被建模为从发射机到接收机的视距(LoS)径，由人体目标散射的 N 条 NLoS 径，以及由静态环境产生的 NLoS 径的集合。本文所采用的 34 个关键点由 ZED 2i 深度相机通过其内置的 AI 模型选取。事实上，基于计算机视觉提取人体骨架运动信息一直是计算机视觉领域的热点话题之一，衣服的褶皱、人体照片的轻微遮挡都不会对关键点的提取产生过大的误差。另外，由于深度相机录制视频的时间间隔 Δtv 往往远大于 Δts，在 ZED 2i 捕捉到的相邻两帧人体动作数据之间，需要进行插值处理，以确保足够的动作采样频率，避免频率混叠现象的发生。

　　本文提出的无线信道仿真方案可以根据任何人体关键点运动数据源以及任意数量的三维关键点和连接椭球基元进行调整。常见的人体动作捕捉方式可以基于计算机视觉的单目 / 双目相机、惯性传感器等方法，生成具有不同关键点数量和连接方式的多种人体关键点模型。

　　3 无线信道生成器

　　本节将具体阐述信道生成器生成 t 时刻的信道冲激响应的方法。从发射机到接收机的多径信道可以被划分为两部分：目标相关信道以及目标无关信道。具体来说，分别定义 h (τ,t) 和 u (τ,t) 为 t 时刻整体的信道冲激响应和目标相关的信道冲激响应(T 代表信道冲激的时延)，并定义 v (τ) 为目标无关的不随时间变化的信道冲激响应。根据文献所定义的信道模型，有 h (τ,t)=u (τ,t)+v (τ)，其中，u (τ,t) 和 v (τ) 的建模分别在 3.1 节以及 3.2 节中详细叙述。

　　3.1 目标相关信道建模

　　令 pt 和 pr 分别代表发射机和接收机的三维位置坐标，pi (t) 和 pj (t) 分别代表在 t 时刻连接着第 n 个椭球基元的两个关键点坐标(∀n,t)。基于此，第 n 个椭球基元的散射中心坐标可以记为 pn^c (t)=[pi (t)+pj (t)]/2。同时，记连接两个关键点 pi (t) 和 pj (t) 的椭球长轴的长度为 2ln (t)，则 ln (t)=|pi (t)−pj (t)|/2。椭球基元的剩余两个短轴的长度相等，记为 2rn (t)。文中，rn (t)=ln (t)/2。由于人体运动的非刚体特性，椭球基元的尺寸(rn (t) 与 ln (t))被建模为与 t 相关，可能随着时间的推移轻微变化。

　　令 Rt^n (t)=|pt−pn^c (t)| 代表发射机到第 n 个椭球基元散射中心的距离，Rr^n (t)=|pr−pn^c (t)| 代表接收机到第 n 个椭球基元散射中心的距离，Gt^n (t) 和 Gr^n (t) 分别代表发射天线和接收天线在入射方向 pt−pn^c (t) 和散射方向 pn^c (t)−pr 上的天线增益，σn (t) 代表第 n 个椭球基元在 t 时刻的双基地雷达截面面积，c 代表光速，fc 和 λ 分别代表信号的载波频率和波长。由第 n 个椭球基元散射所生成的信道冲激响应可以表示为：un (τ,t)=λ√[σn (t) Gt^n (t) Gr^n (t)/(4π)³(Rt^n (t) Rr^n (t))²] e^−jφn (t)δ(τ−τn (t))

　　其中，δ(a) 是单位冲激函数，即满足当 a=0 时，δ(a)=1，反之则 δ(a)=0。τn (t)=[Rt^n (t)+Rr^n (t)]/c 和 φn (t)=2πfcτn (t) 分别代表该散射路径的传输时间(时延)和相位偏移。

　　双基地雷达截面面积 σn (t) 可以通过文献中的方法计算。令 θt^n (t) 和 θr^n (t) 分别代表入射和散射的俯仰角(Elevation)，φt^n (t) 和 φr^n (t) 分别代表入射和散射的方位角(Azimuth)，vn (t)=[pi (t)−pj (t)]/(2ln (t)) 代表沿着椭球长轴方向的单位向量，有：

　　θt^n (t)=arccos [(pn^c (t)−pt)ᵀvn (t)/Rt^n (t)]

　　θr^n (t)=arccos [(pn^c (t)−pr)ᵀvn (t)/Rr^n (t)]

　　和 |φr^n (t)−φt^n (t)|=arccos {[(pn^c (t)−pt~(t))ᵀ(pn^c (t)−pr~(t))]/[|pn^c (t)−pt~(t)||pn^c (t)−pr~(t)|]}

　　其中，pt~(t)=pt−vn (t)(pt−pn^c (t))ᵀvn (t) 和 pr~(t)=pr−vn (t)(pr−pn^c (t))ᵀvn (t) 分别代表发射机和接收机在 t 时刻于垂直于椭球长轴 vn (t) 且包含椭球基元散射中心 pn^c (t) 的平面上的投影。

　　基于此，在 t 时刻第 n 个椭球基元的双基地雷达截面面积可以表示为：

　　σn (t)=4πα(t) rn⁴(t) ln²(t)/[β(t) rn²(t)+γ(t) ln²(t)]²

　　其中，

　　α(t)=[(1+cosθt^n (t) cosθr^n (t)) cos (φr^n (t)−φt^n (t))+sinθt^n (t) sinθr^n (t)]²，

　　β(t)=sin²θt^n (t)+sin²θr^n (t)+2sinθt^n (t) sinθr^n (t) cos (φr^n (t)−φt^n (t))，

　　γ(t)=[cosθt^n (t)+cosθr^n (t)]²

　　将所有的由椭球基元散射产生的 NLoS 信道冲激响应相加，目标相关信道冲激响应可以表示为：

　　u (τ,t)=∑(n=1 到 N) un (τ,t)

　　3.2 目标无关信道建模

　　如前文所述，目标无关信道可以借助现有的无线信道模型。本文将室内环境建模为 K 个静止的散射点。令第 k 个散射点的双基地雷达截面面积，发射机天线增益，接收机天线增益，到发射机的距离，到接收机的距离分别表示为 σk，Gt^k，Gr^k，Rt^k，Rr^k。目标无关信道的 NLoS 信道冲激响应可以表示为：

　　vNLoS (τ)=∑(k=1 到 K)λ√[σkGt^kGr^k/(4π)³(Rt^kRr^k)²] e^−jφkδ(τ−τk)

　　其中，τk=(Rt^k+Rr^k)/c 和 φk=2πfcτk 分别代表第 k 条 NLoS 径的传输时延及相位。

　　令沿着 LoS 径方向发射和接收的天线增益分别为 Gt,LoS 和 Gr,LoS，发射机与接收机之间的距离为 RLoS。基于此，目标无关信道的 LoS 信道冲激响应可以通过自由空间传输模型表示为：

　　vLoS (τ)=λ√(Gt,LoSGr,LoS)/(4πRLoS) e^−jφlosδ(τ−τLoS)

　　其中，τLoS=RLoS/c 和 φLoS=2πfcτLoS 分别表示 LoS 径的传输时延及相位。根据文献所定义的信道模型，则有 v (τ)=vLoS (τ)+vNLoS (τ)

　　4 人体动作捕捉器

　　我们可以把一个完整的人体动作表示成为一系列等间距(Δts)时间戳上人体三维关键点的位置。人体动作捕捉器利用 ZED 2i 深度相机获取上述关键点位置。ZED 2i 深度相机录制视频的帧率一般处于 30～120 帧 /s。该相机内置工具或其他的计算机视觉处理软件可以直接识别并提取每个视频帧中各个人体三维关键点的位置。然而，上述帧率不足以用于信道的微多普勒仿真。例如，在 60GHz 频段上，4m/s 的人体运动最大速率产生的多普勒频率最大可以达到 800Hz。这意味着每秒至少需要仿真 1600 个等间隔时间戳上的信道(即帧率大于 1600)，大大高于 ZED 2i 深度相机所能够提供的帧率。

　　为解决上述问题，本文在相邻的两个视频帧之间插入 Δtv/Δts−1 个时间戳(Δtv 代表视频帧的时间间隔)，并利用 3 次样条插值方法计算新插入时间戳上各个人体三维关键点的位置。以此为基础，可以依据上文介绍的方法计算每个时间戳上的信道冲激响应。

　　5 “仿真到真实” 的无监督迁移推理

　　基于上文介绍的信道仿真器和人体动作捕捉器，我们可以构建一个人体动作微多普勒谱的仿真数据集。该数据集可用于训练人体动作识别的机器学习模型，并在对实际测量的人体动作微多普勒谱进行识别，即实现 “仿真到真实” 的推理(Simulation-to-reality inference)。然而，由于仿真和实测的微多普勒谱在图像特征上有一定的差异，直接进行 “仿真到真实” 的推理可能导致较大的误判概率。迁移学习工具可以用来解决这一类问题。本节将提出一种无监督迁移学习方法，以提高 “仿真到真实” 推理的准确率。

　　记带有动作标签的仿真微多普勒谱的集合为源域。以 Xs 和 Ys 分别代表源域中仿真微多普勒谱的集合与其一一对应的标签集合，以 Nc 代表人体动作的类别数。记少量无标签实测微多普勒谱的集合 Xt 为目标域。本文所提出的无监督迁移学习可以分为 3 个阶段：

　　(1)基于残差神经网络(即 ResNet18)在源域上预训练人体动作识别模型。ResNet18 可以划分为特征提取器 Ms (・) 及分类器 C (・) 两部分。特征提取器 Ms 包含 ResNet18 的 17 个卷积层，其输入为微多普勒谱 xs∈Xs，输出为 512 维特征向量。分类器 C 包含 ResNet18 的全连接层部分，其输入则为 512 维特征向量，输出为预测的标量标签(n=1,2,⋯,Nc)。ResNet18 预训练部分可总结为优化以下交叉熵损失函数：

　　min (Ms,C) Lcls (Xs,Ys)=−E [(xs,ys)∈(Xs,Ys)]∑(n=1 到 Nc) 1 [n=ys]・logC (Ms (xs))

　　其中，E 代表数值期望操作，1 [n=ys] 是一个指示函数(在 n=ys 时值为 1，反之为 0)

　　(2)使用无标签实测数据 Xt 结合对抗性判别领域自适应(ADDA)方法对第 1 阶段的预训练 ResNet18 模型进行微调。

　　6 人体动作识别实验验证

　　6.1 仿真与实测数据集

　　本文所构建的实测与仿真数据集分别包含由两名不同体型的志愿者所完成的 4 种人体动作，每种人体动作分别包含 100 个样本。4 种动作分别为：(1)步行靠近或远离收发机链路;(2)跑步靠近或远离收发机链路;(3)跌倒;(4)坐下。

　　为了采集实测微多普勒谱(时间频率谱)的数据集，本文构建了一个工作在 60 GHz 毫米波频段的被动感知与通信系统。在发射机端，本文使用软件无线电平台 NI USRP-2954R 产生 500 MHz 的中频信号，随后通过毫米波相控阵 Sivers 将其上变频到 60 GHz 进行传输。在接收机端，我们使用两个 Sivers 相控阵连接单个 USRP 设备，分别用于接收参考道及监视信道的信号，并通过互相关模糊函数(CAF)计算人体动作微多普勒谱。传输的毫米波信号通过正交频分复用(OFDM)的方式进行调制，其载波频率为 60 GHz，带宽为 2 MHz。

　　6.2 仿真微多普勒数据集保真度分析

　　可以看出，仿真和实测的人体运动微多普勒谱在总体幅度上基本一致，但在小尺度特征形状和背景噪声上存在一定差异。造成这些差异的原因有 3 点：(1)通过椭球雷达截面面积来模拟人体基元是一种对复杂人体散射模型的简化表达，这种简化能维持人体关键点运动带来的核心多普勒特征，但忽略了人体衣物褶皱、肌肉收缩和呼吸等生命体征的影响。(2)信道仿真难以精确模拟室内反射、散射、衍射等电磁波传播现象带来的多径效应和小尺度衰落。(3)另外，由于收发机硬件设备不完美导致的物理噪声也同样难以精确模拟。

　　为了量化仿真与实测时频谱的差异及进一步刻画本文所提出的信道仿真方法的高保真度，我们使用结构相似性指数(SSIM)来描述任意两张仿真与实测微多普勒谱的相似性。SSIM 的取值范围是 0～1，其中 1 表示两幅图像完全相同，0 表示没有相似性。值越接近 1，表示图像相似度越高。结构相似性指数 SSIM 的计算公式在文献中详细叙述，在此不再赘述。为了保证 SSIM 验证的一般性，对于 “步行”“跑步”“跌倒”“坐下” 这 4 种人体动作，我们将 100 张仿真数据集中的微多普勒时频谱与 100 张实测数据集中的微多普勒时频谱一一对应并计算 SSIM，最终得到每个动作 SSIM 的累积分布函数(CDF)曲线。

　　约 90% 的步行动作样本组合 SSIM 大于 0.6638;约 90% 的跑步动作样本 SSIM 大于 0.6716;约 90% 的跌倒样本组合 SSIM 大于 0.7602;约 90% 的坐下动作样本 SSIM 大于 0.8296。结果显示，本文提出的信道仿真方法对 4 种不同人体动作的保真度有所不同，其中原地动作 “跌倒” 和 “坐下” 具有较高的保真度，而位移动作 “步行” 和 “跑步” 的保真度相对较低。与文献 RFDiffusion 提出的基于生成式人工智能模型的微多普勒时频谱仿真方法相比，本文所提出仿真方法的 SSIM 处于相近的较高水平。然而，生成式人工智能可能会生成约 5% 的 SSIM 值在 0～0.6 的微多普勒时频谱，而本文采用的仿真方法则将 SSIM 值集中在 0.6～0.9，从而确保了信道仿真在保真度下界上处于较高的水平。

　　6.3 人体动作识别

　　6.2 节论证了仿真微多普勒数据集的高保真度，以及基于仿真数据集训练人体动作识别模型并实现 “仿真到真实” 推理的可行性。为了进一步验证本文所提出的仿真方法的高保真性以及 “仿真到真实” 推理效果，本文测试了以下 4 个人体动作识别的训练和测试方案：

　　方案 1：仿真数据集训练，实测数据集测试。训练集中每个动作 60 个仿真微多普勒谱，测试集中每个动作 40 个实测微多普勒谱。

　　方案 2：仿真数据集训练 + 迁移学习，实测数据集测试。以方案 1 中的模型为源域预训练模型，利用 40 个额外的无标签实测微多普勒谱进行微调，再次对方案 1 中的测试集进行测试。

　　方案 3：实测数据集域内训练及测试。训练集中每个动作 60 个实测微多普勒谱，测试集中每个动作 40 个实测微多普勒谱。

　　方案 4：仿真数据集域内训练及测试。训练集中每个动作 60 个仿真微多普勒谱，测试集中每个动作 40 个仿真微多普勒谱。

　　4 个人体动作识别方案的准确率分别为 73%，93.75%，100%，100%。可以看出，对于方案 3 和方案 4(仿真数据集或实测数据集域内训练及测试)而言，经过 ResNet18 训练之后的人体动作识别准确率可达到 100%。这说明 4 种人体动作可以通过微多普勒谱得到有效的区分。另外，方案 1(仿真数据集训练，实测数据集测试)的人体动作识别准确率为 73%，其中步行与坐下，跑步与跌倒存在着 40% 与 17.5% 的较大混淆概率。仿真与实测微多普勒谱的固有特征差异，可能是造成这种动作模糊的原因之一。最后，方案 2 的人体动作识别准确率可达到 93.75%，且各个动作之间的混淆较之方案 1 都有不同程度的减小。这体现了迁移学习在本文所提出的方案中的必要性。

　　另一个导致动作之间混淆的原因可能是微多普勒谱观察时间窗口的长度过短。本文现有的仿真及实测数据集的动作时间长度仅有 2 s，这导致部分动作在一个较短的时间窗口内观察时显得过于相似。延长时间窗口长度至 5 s 可更有效区分长期动作(如步行和跑步)与瞬时动作(如跌倒和坐下)。另外，延长时间窗口后的 “步行”“跑步”“跌倒”“坐下” 4 组动作的 SSIM 分别为 0.7408，0.8000，0.8972，0.8511;相较于图 7 SSIM 平均值(0.7104，0.7215，0.8226，0.8501)，显示出更高的保真度。这表明延长时间窗口有望减少人体动作识别中的混淆。此外，设计一个对微多普勒时间窗口敏感的动作识别神经网络架构有望进一步提升人体动作识别的效果。

　　7 结语

　　本文提出了一种利用计算机视觉技术辅助实现包含运动人体散射特征的毫米波无线信道仿真的方法，以及一种无监督迁移学习方案。首先，利用录制的人体运动视频捕捉三维关键点，计算人体动作微多普勒谱的仿真数据集。其次，使用毫米波被动感知平台采集人体动作微多普勒谱的实测数据集。通过使用大量带标签的仿真数据进行动作识别模型的预训练，再用少量无标签的实测数据进行微调，获得最终动作识别模型。实验表明，预训练的人体动作识别模型在 “仿真到真实” 推理中的准确率为 73%，而经过无监督迁移学习微调后，准确率提升至 93.75%。

任振裕;吉辰卿;余 潮;陈万里;王 锐,南方科技大学电子与电气工程系;深圳技术大学,202501