Y Combinator 日本語図鑑

事業概要

プロダクト

• 配信元の映像ファイルやライブ映像を入力として受け取る。
• 話者ごとの声、笑い声、音楽、背景音を分離して位置を推定する。
• 翻訳した音声と、発話に合わせた口の動きを生成して返す。
• 話者が画面外や横顔でも同一人物の声を保持したまま出力する。
• 仕上がった映像を元の尺と編集点を保ったまま書き出す。
• 最終ミックス音源から直接処理し、素材の分離提供を要さない。

技術アーキテクチャ（推定）

• 顧客の配信基盤や編集環境から映像と最終ミックス音源を取得するとみられる。
• ライブでは低遅延の配信経路を通じて連続的に取り込むと推定される。
• 音声を話者・環境音・音楽に分離し、話者ごとの声質を照合して同一性を保つ。
• 映像から口の動きと顔の向きを推定し、音声に同期した生成を行うとみられる。
• 場面の連続性を保つため、前後フレームの状態を保持するモデルを用いる。
• 生成結果はクラウド上で処理し、配信先へ直接返す構成と推定される。

収益モデル

• 映像制作会社や配信事業者が、作品単位または配信単位で利用料を支払う。
• ライブ配信は時間あたりの従量課金、収録済み作品は案件単位が想定される。
• 基盤を組み込む事業者向けにライセンス提供する形態も考えられる。
• 価格は非公開。

差別化

• 音声と映像を一体で扱うモデルを自社で研究開発している点。
• 2021年以降の論文100本超と引用1万件超の研究蓄積。
• 最終ミックスから直接処理でき、素材分離の工程を省ける。
• 話者が画面外にいても声の帰属を保持する場面理解の設計。

日本展開時のリスク

• 声優や出演者の声の利用許諾を巡る契約実務の整理が必要。
• 吹き替えと字幕の権利者は制作委員会形式が多く、許諾先が分散する。
• 放送局や配信事業者の既存の制作工程への組み込み負荷が大きい。
• 出演者の肖像と人格に関わる権利処理の基準が明確でない。
• 実時間処理の品質と遅延に関する検証データが公開されていない。

日本での競合

• 国内の映像翻訳は制作会社による人手の吹き替えと字幕が中心。
• リアルタイムで音声と口元を同時翻訳する事業者は見当たらない。
• 近接領域には字幕制作会社や音声翻訳サービスが存在する。
• 配信事業者は海外の翻訳基盤を直接調達する経路も持つ。
• 参入には権利処理と制作現場の工程理解が壁になる。