NVIDIA Omniverse NuRec + Cosmos:从真实传感器数据到无限场景生成
NVIDIA Omniverse NuRec + Cosmos:从真实传感器数据到无限场景生成
NVIDIA robotaxi 技术栈深度解读 — 合成数据对座舱感知的启示
新闻信息
- 发布方: NVIDIA
- 发布日期: 2026年9月25日(2小时前)
- 来源: https://channellife.news/story/nvidia-says-major-robotaxi-programmes-use-its-stack
- 场合: NVIDIA robotaxi 技术栈全景发布
核心架构:三计算机系统
NVIDIA 将 robotaxi 开发定义为”三计算机系统”:
graph TD
subgraph 数据中心
A[DGX 训练系统] --> B[Alpamayo 模型]
B --> C[视觉/语言/行动模型]
end
subgraph 仿真验证
D[Omniverse NuRec] --> E[真实场景重建]
F[Cosmos 世界模型] --> G[场景变体生成]
E --> H[闭环仿真]
G --> H
H --> I[AlpaSim 推理训练]
end
subgraph 车载计算
J[DRIVE AGX Thor x2] --> K[实时感知决策]
L[14摄像头+9雷达+3激光雷达+12超声波] --> J
end
C --> K
I --> K
NuRec:神经场景重建
核心能力
NVIDIA Omniverse NuRec 模型可以从现有传感器数据重建真实驾驶场景:
“Omniverse NuRec models can reconstruct real-world driving scenes from sensor data”
— NVIDIA, 2026.09.25
对座舱数据合成的意义:
- 不需要从零建模座舱场景
- 从真实 DMS/OMS 摄像头数据 → 重建座舱 3D 场景
- 可以修改视角、光照、乘员位置等参数
- 生成大量 corner case 训练数据
1 | """ |
Cosmos 世界模型:场景变体生成
核心能力
“Cosmos world foundation models can generate variations in traffic, weather, lighting and sensor conditions”
— NVIDIA, 2026.09.25
1 | """ |
NVIDIA Robotaxi 技术栈全景
DRIVE Hyperion 10 参考架构
| 组件 | 规格 |
|---|---|
| 计算 | 双 DRIVE AGX Thor |
| 摄像头 | 14 个 |
| 雷达 | 9 个 |
| 激光雷达 | 3 个 |
| 超声波 | 12 个 |
| 冗余 | 计算和传感双重冗余 |
| 安全框架 | NVIDIA Halos |
合作伙伴生态
NVIDIA 列举的 robotaxi 合作伙伴覆盖全产业链:
| 类别 | 合作方 |
|---|---|
| Robotaxi平台 | Uber, Zoox, Pony.ai, Wayve, Waabi |
| OEM | Mercedes-Benz, Stellantis, Nissan, Lucid, Hyundai, Kia, Geely, Zeekr, Tesla |
| AD开发商 | Momenta, Nuro, May Mobility, Avride |
| 域控制器 | Lenovo (AD1 L4), Tensor (8x DRIVE AGX Thor) |
推理模型改进
NVIDIA 报告了关键数据:
“Adding meta-action and chain-of-thought reasoning data improved trajectory prediction accuracy and reduced minimum average displacement error by 43%, from 2.08 to 1.18.”
对 IMS 开发的启示
1. NuRec 用于座舱数据合成
NuRec 的核心价值是从真实数据出发重建场景,而非从零建模:
1 | 真实 DMS 数据 → NuRec 重建 → 编辑视角/光照/乘员 → 生成新训练数据 |
IMS 数据合成路线:
1 | # IMS NuRec 数据合成管道 |
2. Cosmos 用于 corner case 生成
Cosmos 世界模型可以生成稀有场景:
- 酒驾 + 夜间 + 雨天
- 儿童被毯子遮挡 + 热天
- 突发疾病 + 隧道
- 多乘员复杂交互
3. 数据工厂架构
NVIDIA 提到的 “AI data factory” 概念:
Uber 正在建设使用 Cosmos 的 robotaxi AI 数据工厂
IMS 数据工厂建议:
| 阶段 | 工具 | 产出 |
|---|---|---|
| 采集 | 真实车队/测试车 | 100小时原始数据 |
| 重建 | NuRec | 10个座舱3D场景 |
| 变体生成 | Cosmos | 10000+合成场景 |
| 标注 | 自动3D->2D | 100000+标注图像 |
| 验证 | 闭环仿真 | 模型精度验证 |
| 部署 | TensorRT 量化 | 边缘推理 |
4. 量产芯片选型
| 芯片 | 场景 | 算力 | 参考 |
|---|---|---|---|
| DRIVE AGX Thor | 车载 L4 | ~2000 TOPS | NVIDIA robotaxi 参考 |
| Qualcomm QCS8255 | DMS/OMS | 26 TOPS | IMS 主力芯片 |
| NVIDIA RTX PRO | 数据中心仿真 | - | NuRec/Cosmos 运行 |
结论
NVIDIA Omniverse NuRec + Cosmos 为 IMS 合成数据提供了完整的工具链:从真实数据重建场景,生成无限变体,自动标注,闭环验证。这比纯手工建模或 GAN 生成更高效、更真实。
对 IMS 开发而言,评估 NuRec 用于座舱场景重建的可行性,并设计”数据工厂”管道,是突破数据瓶颈的关键方向。
参考链接: