何が変わったか

Amazon SageMaker Inferenceで導入された「prefix-aware routing」は、大規模言語モデル（LLM）の推論遅延を削減する新たなルーティング戦略です。従来のランダムルーティングでは、同じプロンプト接頭辞が複数のインスタンスに分散され、キャッシュの再利用が困難でした。この問題を解決するために、同じ接頭辞を持つリクエストを常に同じインスタンスに送信する仕組みが導入されました。

（出典: aws.amazon.com）

仕組みの詳細

prefix-aware routingは、リクエストの先頭部分を基にルーティング先を決定します。これにより、同じ接頭辞を持つリクエストが同一のインスタンスに集約され、キャッシュの有効活用が可能になります。2つのセーフガードが実装されています。

  1. オーバーロード保護: 人気のある接頭辞が特定のインスタンスに集中した場合、そのインスタンスの負荷を回避して他のインスタンスにリクエストを振り分けます。
  2. スケーリング時の安定性: インスタンスの追加/削除時に、ほとんどのリクエストが以前のインスタンスに送信され、キャッシュの無効化を最小限に抑えます。

（出典: 前出 [aws.amazon.com]）

パフォーマンス特性

Llama 3.1 70B Instructを用いたベンチマークでは、prefix-aware routingにより以下の改善が確認されています。

  • P50 TTFT（最初のトークン到達時間）が最大77%削減
  • トータルスループットが最大16%向上
  • KVキャッシュヒット率が25%から80%以上に改善

（出典: 前出 [aws.amazon.com]）

まとめ

  • prefix-aware routingを活用して、LLMの推論遅延を最大77%削減できます。接頭辞のキャッシュ再利用により、処理効率が向上します。
  • スケーリング時のキャッシュの安定性を確保できます。インスタンスの追加/削除に伴うキャッシュ無効化を最小限に抑えます。
  • モデルのスループットを最大16%向上させ、リソースの効率的な利用が可能になります。