ネイティブ マルチモーダル基盤モデル
Mixture-of-Transformers (MoT) アーキテクチャに基づいて構築されたネイティブ マルチモーダル基礎モデル。
テキスト、3D、空間信号は 1 つの表現を共有し、ネイティブな理解、生成、およびマルチターン編集を行います。
MoT · アーキテクチャ
Seele02 は、初日からマルチモーダルな空間でトレーニングを行います。 2 つの専門家ネットワーク (理解と生成) がパラメータを完全に分離した状態に保ち、単一の共有セルフアテンションがクロスモーダルな調整と融合を処理します。
テキスト、3D 構造、空間信号からセマンティクスと関係を抽出し、推論、計画、ツール呼び出し、およびマルチターン編集に安定したコンテキストを供給します。
ジオメトリ、テクスチャ、時空間一貫性を専門としています。出力は制御可能、編集可能であり、複数ターンのインタラクションにわたってアイデンティティを保持します。
すべてのモダリティは、ユニバーサル バスと同じグローバルな自己注意を共有します。専門家は 1 つのコンテキスト内を端から端まで読み取って調整し、情報は継ぎ目を越えて保存されます。
分離された専門家が、独立してスケーラブルなトレーニングと推論パスを提供します。統合されたインターフェイスにより、上部のエージェントは目標に集中し続けることができ、下部ではモダリティの切り替えが行われます。
3 つのモダリティ · ネイティブ
テキスト、3D、および空間は、同じグローバル アテンションに対して事前トレーニングされた Seele02 内の統一表現空間を共有します。クロスモーダルな理解、生成、マルチターン編集が自然に実現します。
指示への従うこと、推論、長い文脈の対話、およびツールの使用 — エージェントの意味論的なバックボーンとモダリティ全体にわたる共通語。
ネイティブ 3D 表現でジオメトリ アセットを理解して生成します。マルチターンの言語主導の編集により、ジオメトリ、トポロジ、アセットのアイデンティティが安定した状態に保たれます。
インタラクティブな世界、空間計画、および制御可能なシーンの進化のための、空間関係、カメラの動き、シーン構造の統一されたビュー。
1 つのモデルは、3D シーンを読み取り、テキストで説明し、新しい視点をレンダリングし、自然言語命令から空間レイアウトを編集します。これらすべてを単一のコンテキスト内でエンドツーエンドで行います。
エージェントベースモデル
ツールの使用は、モデルのネイティブ インターフェイスとして、事前トレーニング時に組み込まれます。 Seele02 は、複数ステップの計画、クロスモーダルな意思決定、外部機能の呼び出しを必要とする複雑なタスクを推進します。
ネイティブ関数の呼び出し。構造化された引数と戻り値は、クロスモーダル コンテキストを通じてシームレスに流れます。
長いコンテキストと共有されたクロスモーダルな注意により、エージェントは複数のターンやモダリティにわたって同じアセットを反復処理できます。
1 つのモデルは、テキスト、3D、空間にわたって意思決定基準を切り替えます。単一のバックボーンがあらゆるモダリティをカバーします。
オブジェクト、シーン、キャラクターは、マルチターン インタラクションやクロスモーダル変換を通じてそのアイデンティティをエンドツーエンドで安定して保ちます。
2 つの SKU、1 つのベース
異なるワークロードに対応する 2 つの製品ライン。どちらも同じ MoT ベースとエージェント インターフェイスを共有するため、アプリケーションはオンデマンドでそれらを切り替えることができます。
リアルタイムの会話、即時生成、および高頻度のエージェント呼び出し用に調整されています。 1 秒未満のフィードバックを必要とするエクスペリエンスのための、待ち時間の短縮とスループットの向上。
長期的な計画、複数ステップの推論、忠実度の高い生成向けに設計されています。コンテンツ制作パイプライン、エージェント オーケストレーション、品質が重要なワークフローに適しています。
次世代のマルチモーダル エクスペリエンスのためのネイティブ基盤をお探しですか?製品とエージェントが 1 つの統一された MoT フレームワーク内で考え、生成し、行動できるようにします。