一、为什么需要 OmniPerception？
四足机器人的优势在于能穿越复杂地形，但现有方案普遍存在感知瓶颈：
📷
深度相机方案的问题：对光照敏感（暗光/强光失效）、对透明/细长障碍物（玻璃、树枝）检测差、需要额外计算中间表示（如高程地图），增加延迟。
🤫
纯本体感知（盲走）的局限：只能应对已知地形，无法处理意外障碍物，如地上突然出现的纸箱、飞来的物体。
🗺️
中间地图表示的代价：构建占用栅格地图需要额外计算资源，且在非平面障碍（悬空电线、斜坡）场景下精度下降。
OmniPerception 的核心洞察：跳过中间表示，直接让 LiDAR 原始点云流入强化学习策略，让机器人"看到什么就躲什么"。
二、核心架构：PD-RiskNet
OmniPerception 的核心是一个名为 PD-RiskNet（Proximal-Distal Risk-Aware Hierarchical Network） 的感知模块：
📡
近端（Proximal）风险感知：处理近距离点云（< 1m），专注即时危险，触发快速反应。
🌐
远端（Distal）风险感知：处理远距离点云（1~5m），提供全局环境理解，引导路径规划。
⏱️
时空融合：不仅看当前帧，还融合历史点云序列，理解障碍物的运动趋势（如迎面而来的行人）。
⚡
风险量化输出：直接输出各方向的风险值，供下游策略网络生成躲避动作。
这与人类的"近处看脚下，远处看趋势"直觉高度一致。
"直接整合 LiDAR 感知到端到端学习框架中，为四足运动控制开辟了一条简洁而高效的路径。"
三、激光雷达仿真工具包
为了解决 Sim-to-Real gap（仿真到真实迁移），团队开发了高保真 LiDAR 仿真工具包：
🔊
真实噪声建模：模拟真实 LiDAR 的测量噪声、角度分辨率、距离不确定性。
⚡
快速光线投射：高效渲染点云，支持大规模并行训练。
🔌
多平台兼容：Isaac Gym、Genesis、MuJoCo 均可使用，降低研究门槛。
这把 RL 训练效率大幅提升，同时保证仿真数据与真实机器人的感知一致性。
四、实验结果
在宇树 G1 机器人上的实机验证：
五、演示视频
🎬
OmniPerception · CoRL 2025 Oral Demo
宇树 G1 全向避障实机演示
视频展示了机器人在室内环境中对多种障碍物的实时避障能力，包括：静态障碍物绕行、动态障碍物（人手持纸箱）跟踪、空中障碍物检测与躲避。
观看完整演示 →
六、与本平台结合的思路
OmniPerception 的设计思路与本平台的 nav-sim 仿真框架高度契合：
🎮
障碍物模拟：本平台的 nav-sim 可模拟动态障碍物的移动轨迹，对 OmniPerception 策略进行仿真验证。
🗺️
感知数据可视化：利用 Canvas 渲染点云数据，将 PD-RiskNet 的风险图叠加到仿真界面，便于理解决策过程。
🧠
强化学习训练：结合 Isaac Gym/MuJoCo 的仿真数据，在本平台 Web 端做策略效果可视化展示。
未来可在仿真平台中接入 OmniPerception 的策略模型，用 WebGL 渲染点云输入与风险热力图叠加，实现"看到机器人在想什么"。
七、参考资源
Omni-Perception: Omnidirectional Collision Avoidance for Legged Locomotion in Dynamic Environments
Zifan Wang, Teli Ma, Yufei Jia, Xun Yang, Jiaming Zhou, Wenlong Ouyang, Qiang Zhang, Junwei Liang — CoRL 2025 Oral
提出 PD-RiskNet 直接处理原始 LiDAR 点云，通过强化学习实现四足机器人全向避障。Sim-to-Real 验证成功，实机响应时间 < 0.5s。