NVIDIA Cosmos-H-Dreams、手術ロボット動作をリアルタイム映像化

初期手術場面とロボット運動入力から未来映像を生成する。NVIDIAはRTX PRO 6000 1台で約160fpsとするが、医療安全認証システムではない。

公開内容

NVIDIAは2026年7月27日、Cosmos-H-Dreams を公開しました。初期RGB手術場面とロボット運動を受け、未来映像を短いブロックで生成する行動条件付き世界モデルです。人がキーボード・Meta Questで操作するか、学習済み方策を閉ループ接続できます。

リアルタイム化

双方向Cosmos-H-Surgical-Simulatorを因果的な少数ステップ学生へ蒸留し、FlashDreamsの有限KVキャッシュ、CUDA Graph、コンパイルを使います。NVIDIAはRTX PRO 6000 1台で標準推論約10fpsから約160fpsへ向上したと報告しています。公開版はdVRK卓上縫合向けです。

注目点

実機実験は高価で失敗を繰り返しにくいため、反応型生成シミュレーターは方策評価、練習、合成データの初期工程を速めます。モデルとコードは公開されていますが、NVIDIA Open Model License、対応GPU、BF16、Linux条件を確認してください。

医療安全上の限界

生成映像は組織物理や患者結果を保証しません。未知場面、遮蔽、変形、衝突で自然に見える誤りがあり得ます。手術・臨床判断へ直接使わず、独立物理シミュレーション、専門家、実機試験、規制手続きが必要です。

公式情報