何が新たに追加されたか

Amazon SageMaker HyperPodは、Amazon EKS（Amazon Elastic Kubernetes Service）上でRayのマネージドサポートを提供するようになった。これにより、データサイエンティストはRayクラスタの作成・編集・モニタリング・削除を、SageMaker Studioのウェブベースインターフェースから直接行えるようになった。従来のKubernetes環境ではYAMLマニフェストの作成やDockerイメージの再ビルドが必要だったが、HyperPodではこれらの手間が解消されている。（出典: aws.amazon.com、aws.amazon.com）

ランタイムの仕組みと特徴

HyperPodはRayクラスタの運用を目的に設計されたインフラストラクチャで、以下のような特徴を持つ。

  • レジリエンシーと自動復元: クラスタノードの健康モニタリングと自動復元機能により、GPUの故障やジョブのハングを自動的に処理する。
  • ティアドチェックポイント: クラスタメモリからステートを復元し、GPU時間当たりの有効作業量を最大化する。
  • ウェブベースの開発環境: SageMaker StudioでJupyterLabやCode Editorをクラスタに接続し、インタラクティブにコードをテスト可能。
  • オブザーバビリティ: Amazon Managed Grafanaを介したメトリクスダッシュボードと、セキュアなブラウザリンクによるRay Dashboardアクセスが可能。（出典: aws.amazon.com、docs.aws.amazon.com）

エントリーポイントと実践的な手順

SageMaker StudioのウェブインターフェースからRayクラスタを直接操作できるため、以下の手順で開始できる。

  1. SageMaker Studioにログインし、「Rayクラスタ」セクションにアクセス。
  2. 「新しいクラスタ作成」を選択し、ノード数やGPUタイプを指定。
  3. 作成されたクラスタにJupyterLabを接続し、ray.init()でインタラクティブな開発を開始。
  4. クラスタの状態はAmazon Managed Grafanaでリアルタイムモニタリング可能。（出典: aws.amazon.com、docs.aws.amazon.com）

まとめ

  • SageMaker StudioでRayクラスタを直接管理：ウェブインターフェースからクラスタの作成・編集が可能となり、KubernetesのYAMLマニフェストの手動操作が不要になる。
  • ティアドチェックポイントでトレーニングの信頼性向上：ノードの故障やネットワーク問題に対しても、ステートをクラスタメモリから復元できるため、トレーニングの中断を最小限に抑えることができる。
  • インタラクティブな開発環境の構築：JupyterLabやCode Editorをクラスタに接続し、コード変更を即座にテスト可能。これにより、開発サイクルの効率が向上する。
  • オブザーバビリティの強化：Amazon Managed GrafanaとRay Dashboardを統合し、メトリクスの可視化が一元化されている。
  • リソースの最適な利用：タスクガバナンスにより、チームごとのリソース割り当てや優先順位の設定が可能となり、GPUの無駄使いを防止できる。（出典: aws.amazon.com、aws.amazon.com、docs.aws.amazon.com）