11
CoArena
実コンピュータ作業でAIモデルを競わせる評価基盤
競合あり/空白あり国内にAI評価・学習データ事業者は複数いるが、実作業でモデルを競わせる形式の同型は未確認。
事業概要
- プロダクト
- 同一の実コンピュータ作業を二つの操作モデルに同時に実行させる。
- 利用者は画面の実行結果を比較し、どちらが優れたかを投票する。
- 対戦ごとに操作ログ・成否・投票結果を記録し、順位表を更新する。
- モデル別・作業種別の勝率を集計し、公開順位表として返す。
- AI開発企業には実作業での失敗事例と評価データを提供する。
- 誰でも参加できるため、評価対象の作業とモデルを追加できる。
- 技術アーキテクチャ(推定)
- 評価用の実機環境をクラウド上に用意し、画面と操作を遠隔配信するとみられる。
- 各モデルに画面画像と操作指示を入力し、クリックやキー入力を生成させる推定。
- 二つのモデルの操作を同一タスクで並行実行し、画面と操作ログを記録する。
- 作業ログから操作列・所要時間・完了可否を正規化して保存する。
- 利用者の投票を集計し、対戦結果を統計処理して順位を算出する。
- 蓄積した実作業データを学習用データセットとして整形し、提供する。
- 収益モデル
- AI開発企業が評価データと実作業の失敗事例に対して支払うとみられる。
- 一般利用者の投票は無償と推定され、課金対象は開発企業側とみられる。
- 課金単位は対戦数・データ量・月額のいずれかと推定されるが、価格は非公開。
- 差別化
- 実作業の対戦ログと投票が蓄積するほど評価の信頼性が上がる。
- 第三者が作業を用意するため、評価項目が自社内で閉じない。
- モデル提供企業自身では作れない外部評価の立場を取れる。
- 日本展開時のリスク
- 実作業に顧客の機密情報や個人情報が混じる場合の管理責任が重い。
- 国内のAI開発企業は評価を内製する傾向があり、外注需要は未確認。
- クラウド上の実機環境の運用費が参加者数の増加に比例する。
- 学習データの提供は著作権や利用規約の確認を要する。
- 国内にAI評価の調達慣行がなく、価格妥当性の判断が難しい。
日本での競合
- 国内のAI評価は受託開発やアノテーション事業として存在する。
- 大手のAI開発企業は自社で評価基盤を持ち、外部調達は限定的。
- 実作業でモデルを競わせる形式の直接の同型は見当たらない。
- 学習データ事業者は複数おり、データ提供の領域では競合する。
- 参入には実機環境の運用と評価の一貫性の担保が必要になる。
主要プレイヤー
- FastLabel — アノテーション基盤と代行。
- ブレインパッド — データ分析の支援。
- エクサウィザーズ — AIの社会実装。
- Autify — ノーコードでE2Eテストを作成・実行。AIがUI変更に追随。
| 比較軸 | CoArena | FastLabel | ブレインパッド | エクサウィザーズ | Autify |
|---|---|---|---|---|---|
| 主な用途 | 操作モデルの実作業評価 | アノテーション | データ分析 | AI開発 | E2Eテスト自動化 |
| 提供範囲 | 対戦環境と評価データ | AI開発企業 | 企業 | 企業・自治体 | Web |
| 課金 | 非公開 | 月額・見積 | 案件単位 | 案件単位 | 個別見積 |
| 強み | 外部視点の対戦型評価 | ツールと代行 | 分析人材 | AI導入 | UI変更への追随 |
出典:Y Combinator / CoArena / FastLabel / ブレインパッド / エクサウィザーズ / Autify。技術アーキテクチャは公開情報からの推定。