AWS Strands Evalsの新しいマルチモーダル評価機能

AWSが新たに発表したStrands Evals SDKのマルチモーダル評価機能は、画像とテキストを組み合わせたAIアプリケーションの品質検証を自動化する。従来のテキストのみの評価では検出できなかった視覚的な幻覚や事実誤認を、画像を直接参照する判定モデルによって特定できるようになった。

この機能は4つの評価指標を提供する。Overall Quality（全体品質）、Correctness（正確性）、Faithfulness（忠実性）、Instruction Following（指示遵守）である。各評価器は画像とテキスト応答を同時に処理し、1-5のLikertスケールまたはバイナリスコアと推論過程を返す。

Gartnerの予測によると、2030年までに企業ソフトウェアの80%がマルチモーダル対応になる見込みで、2024年の10%未満から大幅な増加が見込まれている。この変化に対応するため、画像に基づいた自動評価システムの需要が高まっている。

（出典: Multimodal evaluators: MLLM-as-a-judge for image-to-text tasks in Strands Evals）

従来のテキストのみ評価の限界

テキストのみのLLM-as-a-Judge評価では、画像に根ざした重要な失敗を見逃してしまう。請求書読み取り、ダッシュボード要約、スクリーンショット解説などのアプリケーションでは、テキスト評価器は出力の流暢性や構造は評価できるが、実際に画像内容と一致しているかは判定できない。

具体的な失敗例として、キャプションが画像を正確に描写しているか、抽出された請求書の合計金額が文書と一致しているか、画面要約で実際には存在しないボタンを幻覚していないかといった検証ができない。テキストのみの判定では、画像内の真実を確認せずに出力を承認してしまう。

さらに、全体的な品質評価で低スコアが出ても、何が問題だったかの詳細が分からない。事実誤認、捏造された詳細、指示無視など、異なる失敗モードには異なる対処法が必要である。

（出典: Multimodal evaluators: MLLM-as-a-judge for image-to-text tasks in Strands Evals）

マルチモーダル判定フレームワークの仕組み

新しいフレームワークは画像、テキストクエリ、モデル生成応答を入力として受け取る。システムはこれらを統合したマルチモーダル評価プロンプトを構築し、MLLM（Multimodal Large Language Model）ベースの判定モデルに送信する。

判定プロセスでは、画像を直接参照しながらテキスト応答の妥当性を検証する。参照回答がある場合とない場合の両方に対応し、スコアと推論文字列をデバッグ用に返す。このフレームワークはStrands Evalsの既存のCase → Experiment → Reportワークフローにドロップイン置換として統合できる。

継続的インテグレーション（CI）パイプラインに組み込むことで、視覚的幻覚、事実誤認、指示違反を自動的に検出できる。従来の手動レビューや信頼性の低いテキストのみプロキシ評価に代わる、自動化されたマルチモーダル評価を実現する。

（出典: Multimodal evaluators: MLLM-as-a-judge for image-to-text tasks in Strands Evals）

実装に必要な前提条件と設定

この機能を使用するには、strands-agents-evalsとstrands-agentsパッケージのインストールが必要である。AWS環境ではaws configureコマンドでの認証設定と、Amazon Bedrock等のモデルサービスへのInvokeModel権限が必要となる。

評価の実行は既存のStrands Evalsワークフローと同じCase、Experiment、Reportの3段階で行う。各段階でマルチモーダル評価器を従来のテキスト評価器の代替として使用できる。

画像を含む評価ケースの作成から結果レポートの生成まで、統一されたSDKインターフェースで管理できる。これにより、視覚的コンテンツを扱うAIアプリケーションの品質管理プロセスを既存の開発フローに組み込める。

（出典: Multimodal evaluators: MLLM-as-a-judge for image-to-text tasks in Strands Evals）

まとめ

  • Strands Evals SDKの4つのマルチモーダル評価器（Overall Quality、Correctness、Faithfulness、Instruction Following）を使って、画像とテキストを組み合わせたAIアプリケーションの品質を自動検証できるようになる
  • 既存のCase → Experiment → Reportワークフローにドロップイン置換で統合することで、テキストのみでは検出できない視覚的幻覚や事実誤認をCI/CDパイプラインで自動検出できる
  • 企業ソフトウェアの80%がマルチモーダル化する2030年に向けて、手動レビューに依存しない画像根拠の自動評価システムを先行導入することで、スケーラブルな品質管理体制を構築できる