データセットの拡張の仕組み
Amazon Quick Sightの**データセット拡張(Dataset Enrichment)**は、従来の「Legacy Topics」に代わる新しいアプローチで、データセットに直接ビジネスコンテキストを埋め込む仕組みです。これにより、カラムの説明、シンボル、計算フィールド、ビジネスルールなどがデータセットメタデータに統合され、一元的な管理が可能になります。従来のLegacy Topicsでは、データセットとTopicsが別々のオブジェクトとして管理されていたため、同期が困難でしたが、拡張機能ではこれらが1つのアセットに統合されます。(出典: https://aws.amazon.com/blogs/machine-learning/enrich-your-datasets-with-business-context-migrating-from-legacy-topics-to-semantic-datasets-in-amazon-quick/(https://aws.amazon.com/blogs/machine-learning/))
従来のTopicsと拡張機能の違い
従来のTopicsはデータセットの上位に位置する独立オブジェクトで、カラムシンボルやカスタムルールを別途管理していました。一方、データセット拡張では、これらの情報がデータセットメタデータ内に直接記録されます。例えば、カラムの説明は「Additional Notes」に、カスタムルールは「Custom Instructions」に格納されます。この変更により、権限管理や監査の対象が1つに集約され、運用の簡素化が実現します。(出典: https://aws.amazon.com/blogs/machine-learning/enrich-your-datasets-with-business-context-migrating-from-legacy-topics-to-semantic-datasets-in-amazon-quick/(https://aws.amazon.com/blogs/machine-learning/))
移行シナリオと手順
データセット拡張への移行には3つのシナリオが提案されています。1つ目は既存のTopicsをデータセットに統合するケースで、2つ目は複数データセットのコンテキストを統一するケース、3つ目は新しいデータモデルに適合させるケースです。具体的な手順としては、データセットのメタデータにビジネスルールを追加し、Topicsを「マルチデータセットセマンティックレイヤー」として再構成する必要があります。(出典: https://aws.amazon.com/blogs/machine-learning/enrich-your-datasets-with-business-context-migrating-from-legacy-topics-to-semantic-datasets-in-amazon-quick/(https://aws.amazon.com/blogs/machine-learning/))
マルチデータセットリレーショナルアーキテクチャ
Amazon Quick Sightのマルチデータセットリレーショナルアーキテクチャは、データモデルの柔軟性を向上させます。従来の「スターアーキテクチャ」や「スノーフェークアーキテクチャ」に加え、複数のファクトテーブルを共有する「ガラクティーアーキテクチャ」もサポート。これにより、異なるデータセット間で論理的なリレーショングループを定義し、クエリ実行時にランタイムでジョイン処理を行うことが可能になります。(出典: https://aws.amazon.com/blogs/machine-learning/data-modeling-best-practices-for-amazon-quick-sight-multi-dataset-relationships/(https://aws.amazon.com/blogs/machine-learning/))
まとめ
- データセット拡張機能を活用することで、ビジネスコンテキストをデータセットに直接埋め込み、一元的な管理が可能になります。
- Legacy Topicsの移行手順を実施し、データとコンテキストの同期を自動化することで、運用負荷を軽減できます。
- マルチデータセットリレーショナルアーキテクチャを採用し、複数データセット間の論理的関係を定義することで、柔軟な分析が実現できます。
- Quick SightのTopics機能を活用して、複数データセットを統合したセマンティックレイヤーを構築し、AI駆動の分析を可能にします。
- API Gatewayのドキュメント作成ツールを活用し、作成したAPIの仕様を明確に記録することで、開発者向けの信頼性を向上させます。(出典: https://docs.aws.amazon.com/apigateway/latest/developerguide/api-gateway-documenting-api-quick-start-with-console.html(https://docs.aws.amazon.com/apigateway/latest/developerguide/))