はじめに

こんにちは、kisaragiです！
本記事は、AWS Summit Japan 2024のセッション「生成 AI の発展的な活用 – 数クリックで基盤モデルを自社業務専用モデルにファインチューニング」のレポート記事です。

セッション概要

生成 AI の発展的な活用 – 数クリックで基盤モデルを自社業務専用モデルにファインチューニング（AWS-44）

• AWS セッション(Level 300: 中級者向け)
• テーマ：生成 AI

スピーカー

• アマゾン ウェブ サービス ジャパン合同会社 前川 泰毅

概要

基盤モデルを独自にカスタマイズしてホストするのは労力がかかります。Amazon SageMaker JumpStart を用いると、自社データを使って簡単に Fine Tune とデプロイができます。Fine Tune とデプロイのやり方と裏側の仕組み、そして自社利用のためのインテグレーション方法などを解説します。

アジェンダ

• いつ生成 AI のファインチューニングに取り組むべきか
  • 生成 AI ユーザーのタイプと生成AI導入プロセス
  • ファインチューニングのメリット
  • 生成 AI 導入の課題
• Amazon SageMaker JumpStart で課題を解決
  • Amazon SageMaker JumpStart で素早くモデルをファインチューニング
  • Amazon SageMaker Clarify でユースケースに最適なモデルを評価して選択する
  • Amazon SageMaker Endpoint で生成 AI を本番環境で運用する

セッションレポート : いつ生成 AI のファインチューニングに取り組むべきか

生成 AI のユーザータイプとスキル

1.プロバイダー：スクラッチから FM を構築し、製品として他のユーザー (ファインチューナーとコンシューマー) に提供するユーザー。彼らはエンドツーエンドの ML と自然言語処理 (NLP) の専門知識、および膨大なデータラベラーとエディタのチームを持っています。

2.ファインチューナー：プロバイダーから FM を再トレーニング (ファインチューニング) して、カスタム要件に合わせるユーザー。彼らはモデルのサービスとしてのデプロイをオーケストレーションします。これは、コンシューマーが使用するためのものです。これらのユーザーは、エンドツーエンドの ML とデータサイエンスの専門知識、モデルのデプロイと推論の知識が必要です。チューニングのためのプロンプトエンジニアリングを含むドメイン知識も必要です。

3.コンシューマー：テキストのプロンプトまたはビジュアルインターフェースによって、プロバイダーまたはファインチューナーの生成系 AI サービスと対話し、所望のアクションを完了するユーザー。ML の専門知識は必要ありませんが、主にアプリケーション開発者またはエンドユーザーで、サービスの機能についての理解が必要です。良い結果のために必要なのはプロンプトエンジニアリングのみです。

出典：FMOps/LLMOps：生成系 AI の運用と MLOps との違い

生成 AI プロセス：コンシューマー

• ステップ 1 : 基盤モデル機能を理解する
  • 利用できるモデルや特徴をある程度把握し、シンプルなプロンプトで評価対象となるモデルをピックアップする
• ステップ 2 : トップ FM を評価
  • ピックアップしたモデルを評価し、ユースケースにおけるモデルの精度をベンチマークする
• ステップ 3 : 優先順位に基づいて最適なモデルを選定
  • コスト、レイテンシー、精度などの評価軸から優先順位に基づいてモデルを選択する

→ プロンプトエンジニアリングと RAG にフォーカスしているため、ML の専門知識は必要ありません。

生成 AI プロセス：ファインチューナー

• ステップ 1 : データラベリング
  • 数百から数千のデータを用意する
• ステップ 2 : ファインチューニング
  • 特定のドメインをカスタマイズする
• ステップ 3 : デプロイとプロンプトエンジニアリング
  • コスト、精度、レイテンシで最適なモデルを選定する
  • 複数のモデルをチェーンする
  • プロンプトエンジニアリングを行う
  • 入力/出力のフィルタリングを行う
• ステップ 4 : モニタリング
  • エンドユーザーから評価を収集する
  • 入力/出力のフィードバックを行い、モデルの改善に利用する

→ エンドツーエンドの機械学習に関する豊富な専門知識と、プロンプトエンジニアリングを含むチューニングに関する専門知識が必要です。

ファインチューニングのメリット

• 小さなモデルでもタスク特化でファインチューニングすれば大きなモデル以上の性能を発揮する可能性がある
• 長いプロンプトが不要になるため、推論レイテンシーが削減されリクエストあたりのコストも低下
• ホスティングの場合、一定のリクエスト数があれば API モデルよりも低コスト

いつファインチューニングするべきか

• 特定のタスクに対する性能向上が求められる場合
  • 小さなモデルでも、特定のタスクに特化させることで、大きな汎用モデル以上の性能を発揮することができます。たとえば、特定の業界用語が多用されるドメイン固有の質問応答や、専門的な文章生成が求められる場合などです。
• 推論レイテンシーの低減が必要な場合
  • 長いプロンプトが不要になるため、ファインチューニングされたモデルは短いプロンプトで十分に高精度な結果を返すことができます。これにより、推論レイテンシーが削減され、リアルタイム性が求められるアプリケーションでのパフォーマンスが向上します。
• コスト削減が求められる場合
  • リクエストあたりのコストが低下するため、ホスティングの場合において、一定のリクエスト数が見込まれるなら、ファインチューニングされたモデルを使用する方がAPIモデルを使用するよりも総コストが低くなります。特に、大規模なユーザーベースや多頻度のリクエストを処理する必要がある場合に効果的です。

→ 専門知識は必要になりますが、ファインチューニングにより、コスト削減やモデル精度の向上を図ることができることは非常に魅力的ですね…！

生成 AI 導入の課題と AWS サービス

• 柔軟性と発見性
  • 急速に進化するモデルのエコシステムに対応
• セキュリティとコンプライアンス
  • データの保護と規制上のニーズへの対応
• カスタマイズと評価
  • 精度とパフォーマンスのためのモデルのファインチューニング
• 最適化とスケール
  • POC から本番環境への移行

▼ 生成 AI 導入の課題を解決するために、AWS では下記のようなサービスを提供しております。

• Amazon Bedrock : 基盤モデルを使用して生成 AI アプリケーションを構築およびスケーリングする最も簡単な方法
• Amazon SageMaker : ゼロから基盤モデルを学習、独自のモデル・コードを実行

セッションレポート : Amazon SageMaker JumpStart で課題を解決

Amazon SageMaker JumpStart とは?

Amazon SageMaker JumpStart は、機械学習ジャーニーを加速させることができる機械学習 (ML) ハブです。SageMaker JumpStart を利用すると、事前に定義された質と責任に関するメトリクスに基づいて FM を迅速に評価、比較、選択して、記事の要約や画像生成などのタスクを実行できます。事前トレーニング済みのモデルは、データを使用してユースケースに合わせて完全にカスタマイズでき、ユーザーインターフェイスまたは SDK を使用して本番環境に簡単にデプロイできます。また、事前構築済みのソリューションにアクセスして、一般的なユースケースを解決し、機械学習モデルやノートブックなどの機械学習アーティファクトを組織内で共有して、機械学習モデルの構築とデプロイを加速させることができます。

出典：Amazon SageMaker JumpStart

Amazon SageMaker JumpStart の機能

1. ブラウズ：SageMaker JumpStart で 730種類以上のパブリック FM と 20種類以上のプロプライエタリ FM を閲覧
2. 評価する：SageMaker Clarify モデル評価で複数の FM を評価し、ユースケースに適したものを選択
3. カスタマイズ：SageMaker トレーニングで、独自のデータセットでカスタマイズ。データ収集には SageMaker HIL を使用。
4. デプロイ：SageMaker エンドポイントを使用してモデルをデプロイし、生成 AI のユースケースに合わせて推論を実行

→ 事前に用意・検証された多くのモデルのラインアップから、数クリックで、モデルのファインチューニング・評価・デプロイまで簡単に実現可能なことは素晴らしいですね…！

感想

ファインチューニング、低コストでモデル精度の向上が期待できることは嬉しいことです！
しかし、ファインチューニングは専門知識が必要で、学習コストも労力も大変そうですね…

Amazon SageMaker JumpStart、数クリックモデルのファインチューニング・評価・デプロイができることは非常に魅力的だと考えました！
専門知識が要求されるファインチューニングも、Amazon SageMaker JumpStart で気軽に始められそうです！