ネイティブ マルチモーダル基盤モデル

Seele02

Mixture-of-Transformers (MoT) アーキテクチャに基づいて構築されたネイティブ マルチモーダル基礎モデル。
テキスト、3D、空間信号は 1 つの表現を共有し、ネイティブな理解、生成、およびマルチターン編集を行います。

変圧器の混合テキスト · 3D · 空間エージェント対応

MoT · アーキテクチャ

理解と生成の専門家、
世界共通の自己関心によって融合されています。

Seele02 は、初日からマルチモーダルな空間でトレーニングを行います。 2 つの専門家ネットワーク (理解と生成) がパラメータを完全に分離した状態に保ち、単一の共有セルフアテンションがクロスモーダルな調整と融合を処理します。

理解する理解のエキスパート意味論・推論・計画
世代生成エキスパート形状・質感・一貫性
世界共通の自己注意クロスモーダル融合バス
テキスト
3D
空間的
理解のエキスパート
推理面、集中力。

テキスト、3D 構造、空間信号からセマンティクスと関係を抽出し、推論、計画、ツール呼び出し、およびマルチターン編集に安定したコンテキストを供給します。

生成エキスパート
世代側、集中。

ジオメトリ、テクスチャ、時空間一貫性を専門としています。出力は制御可能、編集可能であり、複数ターンのインタラクションにわたってアイデンティティを保持します。

自己注意の共有
複数のモダリティにわたる 1 つのグローバル バス。

すべてのモダリティは、ユニバーサル バスと同じグローバルな自己注意を共有します。専門家は 1 つのコンテキスト内を端から端まで読み取って調整し、情報は継ぎ目を越えて保存されます。

分離・統合
分離されたパラメータ、統一されたインターフェイス。

分離された専門家が、独立してスケーラブルなトレーニングと推論パスを提供します。統合されたインターフェイスにより、上部のエージェントは目標に集中し続けることができ、下部ではモダリティの切り替えが行われます。

3 つのモダリティ · ネイティブ

3 つのモダリティ、1 つの表現。

テキスト、3D、および空間は、同じグローバル アテンションに対して事前トレーニングされた Seele02 内の統一表現空間を共有します。クロスモーダルな理解、生成、マルチターン編集が自然に実現します。

01テキスト

テキスト

指示への従うこと、推論、長い文脈の対話、およびツールの使用 — エージェントの意味論的なバックボーンとモダリティ全体にわたる共通語。

  • マルチターン命令とツール呼び出し
  • クロスモーダルな説明と説明
  • 構造化された出力と関数スキーマ
023d

3D

ネイティブ 3D 表現でジオメトリ アセットを理解して生成します。マルチターンの言語主導の編集により、ジオメトリ、トポロジ、アセットのアイデンティティが安定した状態に保たれます。

  • 3D アセットの生成と編集
  • ビュー一貫性のあるアイデンティティの保持
  • プロダクション対応のエクスポート可能な形式
03空間的な

空間的

インタラクティブな世界、空間計画、および制御可能なシーンの進化のための、空間関係、カメラの動き、シーン構造の統一されたビュー。

  • 空間関係とシーングラフ
  • カメラの軌道と視点の制御
  • 永続的で探索可能な世界状態

1 つのモデルは、3D シーンを読み取り、テキストで説明し、新しい視点をレンダリングし、自然言語命令から空間レイアウトを編集します。これらすべてを単一のコンテキスト内でエンドツーエンドで行います。

エージェントベースモデル

ネイティブツールの使用。汎用エージェントの基盤モデル。

ツールの使用は、モデルのネイティブ インターフェイスとして、事前トレーニング時に組み込まれます。 Seele02 は、複数ステップの計画、クロスモーダルな意思決定、外部機能の呼び出しを必要とする複雑なタスクを推進します。

ネイティブツールの使用

ネイティブ関数の呼び出し。構造化された引数と戻り値は、クロスモーダル コンテキストを通じてシームレスに流れます。

マルチターンの計画と編集

長いコンテキストと共有されたクロスモーダルな注意により、エージェントは複数のターンやモダリティにわたって同じアセットを反復処理できます。

クロスモーダルな意思決定

1 つのモデルは、テキスト、3D、空間にわたって意思決定基準を切り替えます。単一のバックボーンがあらゆるモダリティをカバーします。

安定した資産のアイデンティティ

オブジェクト、シーン、キャラクターは、マルチターン インタラクションやクロスモーダル変換を通じてそのアイデンティティをエンドツーエンドで安定して保ちます。

2 つの SKU、1 つのベース

モデルラインナップ。

異なるワークロードに対応する 2 つの製品ライン。どちらも同じ MoT ベースとエージェント インターフェイスを共有するため、アプリケーションはオンデマンドでそれらを切り替えることができます。

フラッシュ

低遅延のインタラクション用に構築されています。

リアルタイムの会話、即時生成、および高頻度のエージェント呼び出し用に調整されています。 1 秒未満のフィードバックを必要とするエクスペリエンスのための、待ち時間の短縮とスループットの向上。

  • リアルタイムのマルチモーダルな対話
  • 高頻度のツール呼び出しとオーケストレーション
  • 製品UI内で即時生成
プロ

複雑な推論と高品質の制作のために構築されています。

長期的な計画、複数ステップの推論、忠実度の高い生成向けに設計されています。コンテンツ制作パイプライン、エージェント オーケストレーション、品質が重要なワークフローに適しています。

  • 長くて多段階の推論
  • 高品質の3Dと空間生成
  • エージェントのオーケストレーションとマルチエージェントのコラボレーション

で構築するゼーレ02

次世代のマルチモーダル エクスペリエンスのためのネイティブ基盤をお探しですか?製品とエージェントが 1 つの統一された MoT フレームワーク内で考え、生成し、行動できるようにします。