AWS認定Generative AI Developer - Professional (AIP-C01)模擬試験問題集

数あるAIPの教材から本教材をご覧いただきありがとうございます！

更新履歴

2026/5: コース公開（演習1・2・3、合計160問）

なぜこの問題集が必要なのか？

AWS認定Generative AI Developer - Professional（AIP-C01）試験は、Amazon Bedrockを中心とした生成AIアプリケーションの設計・実装・運用スキルを問う、AWSの認定資格の中でも新領域の高難度資格です。単なるサービス知識にとどまらず、RAGアーキテクチャの設計、ガードレールによる安全制御、エージェントのオーケストレーション、モデル評価とモニタリングまで、実務レベルの複合的な理解が求められます。

本問題集は最新のAIP-C01試験傾向に完全対応しています。

AIP-C01で特に重視される要素：

• Amazon Bedrock Knowledge Basesを活用したRAGパイプラインの設計と最適化

• Bedrock Guardrailsによる多層防御アーキテクチャの構築

• Bedrock AgentsとLambdaを組み合わせた自律型エージェントの実装

• ストリーミング応答とリアルタイムアーキテクチャの設計判断

• モデルの公平性・バイアス評価とCloudWatchによる継続的モニタリング

• コスト・パフォーマンス・規制要件を満たす複数FM間の動的ルーティング

本問題集の圧倒的な特徴

1. 2026年最新トレンド完全対応

   Amazon Bedrock Guardrails、Bedrock Prompt Management、Amplify AI Kit、AppConfigによる動的FMルーティングなど、AIP-C01で頻出する最新の生成AIサービスと設計パターンを網羅。実際の試験で問われるサービス選定の判断軸を体系的に習得できます。

2. 実務レベルの深い解説

   「なぜその選択肢が最適なのか」「実際の運用では何を考慮すべきか」まで詳細に解説。コンテンツフィルターと拒否トピックの使い分け、AppSyncの30秒ハードリミットとストリーミング移行の必然性、グラウンディングスコア閾値の設定根拠など、試験でそのまま使える実践的思考を養えます。

3. 全選択肢の詳細分析

   正解選択肢だけでなく、不正解選択肢についても「なぜ適切でないのか」「どういう場面なら有効か」を丁寧に解説。誤りの根拠まで理解することで、類似問題や応用問題にも対応できる本質的な理解を構築します。

4. アーキテクチャ図で視覚的理解

   Amplify AI Kitのストリーミングアーキテクチャ、Bedrock Guardrailsの多層防御構造、AppConfigによる動的FMルーティング、Bedrock Prompt Management + Guardrailsの連携構成など、複雑なマルチサービスアーキテクチャを視覚化した図解を多数収録。サービス間のデータフローと設計の全体像を直感的に把握できます。

5. 本番同等の問題難易度

   実際の試験と同レベルの複雑さと深さを再現。単一選択・複数選択問題、ビジネス要件からの最適解導出問題、アーキテクチャトレードオフを問う複合問題に完全対応しています。

6. 問題数160問、順次追加予定

   現在、演習1・演習2の2セット（各75問、合計150問）+追加問題10問を収録しています。今後も演習セットを順次追加予定です。また、出題順序固定版も収録しているため、苦手分野の反復練習や試験直前の総仕上げにもご活用いただけます。

品質確認用サンプル問題

本教材の解説レベルを確認いただくため、実際の収録問題をご紹介します：

問題文：

ある企業は、商品やサービスの問い合わせへ毎日数千件応答するカスタマーサポートチャットボットを Amazon Bedrock の生成 AI で運用しています。プロンプトやモデル設定を更新するたびに応答の言い回しがぶれるため、社内レビューから「品質を数値で確認してから本番へ出してほしい」と要望が上がりました。 そこで、プロンプトの有効性とモデル設定を更新のたびに評価する品質保証プロセスを導入します。このプロセスに求める機能は4つです。複数のプロンプトテンプレートが生成した応答を自動で比較できること、応答品質の問題を検知して定量指標で示せること、人間のレビュアーが応答へフィードバックを返せること、そしてあらかじめ定めた品質しきい値に届かない設定を本番環境へデプロイしないゲートを持つことです。 これらを満たすソリューションはどれですか。

選択肢：

A. 本番トラフィックを間引いて、更新後のモデルバージョンへ同じリクエストを重ねて送る自動テストの仕組みを Lambda 関数で組みます。返ってきた応答は Amazon Bedrock Guardrails の有害コンテンツ・PII フィルタにだけ通し、フィルタで遮断された割合が増えたらデプロイを差し止めます。

B. 出力の採点は Amazon Bedrock の評価ジョブに任せ、共通のカスタムプロンプトデータセットを複数のモデル設定へ当てて比較します。テンプレートが更新されたら評価ジョブが走るよう CodePipeline を組み、品質しきい値を上回った設定だけを本番へ送り出します。

C. 問い合わせサンプルを複数のモデル設定へ投げ込む Lambda 関数を用意し、返ってきた応答をそのまま S3 に蓄積します。蓄積した応答は QuickSight でパターンを読み解き、レビュー担当者が毎日目を通す運用にします。しきい値を超えた設定だけ、CodePipeline で本番へ流します。

D. CloudWatch アラームで応答レイテンシとエラー率を張り付けて監視し、しきい値を超えたら EventBridge ルールがチームへ通知を飛ばすようにします。本番への切り替えは Systems Manager の手動承認ワークフローに通します。

正解：B

A. 本番トラフィックを間引いて、更新後のモデルバージョンへ同じリクエストを重ねて送る自動テストの仕組みを Lambda 関数で組みます。返ってきた応答は Amazon Bedrock Guardrails の有害コンテンツ・PII フィルタにだけ通し、フィルタで遮断された割合が増えたらデプロイを差し止めます。

不正解 Bedrock Guardrails は、有害コンテンツ・禁止トピック・機密情報（PII）を検出して遮断する安全制御の機能です。応答の正確性・関連性・完全性といった品質を数値で採点したり、複数のテンプレートを定量メトリクスで比較したりする仕組みは提供しません。本番トラフィックのサンプリングは入力の偏りを制御できず公平な比較にならないうえ、レビュー担当者がフィードバックを返す経路もありません。

B. 出力の採点は Amazon Bedrock の評価ジョブに任せ、共通のカスタムプロンプトデータセットを複数のモデル設定へ当てて比較します。テンプレートが更新されたら評価ジョブが走るよう CodePipeline を組み、品質しきい値を上回った設定だけを本番へ送り出します。

正解 Bedrock の評価ジョブは、自動評価で正確性・堅牢性・有害性などの定量メトリクスを算出し、LLM-as-a-judge では正答性や完全性を採点し、人間評価では Likert 尺度や Thumbs up/down でレビュー担当者の判定を構造化して取り込みます。共通のカスタムプロンプトデータセットを複数構成へ当てて比べられるため公平な比較が成立し、CodePipeline と連携すればしきい値未達の設定を機械的に遮断できます。

C. 問い合わせサンプルを複数のモデル設定へ投げ込む Lambda 関数を用意し、返ってきた応答をそのまま S3 に蓄積します。蓄積した応答は QuickSight でパターンを読み解き、レビュー担当者が毎日目を通す運用にします。しきい値を超えた設定だけ、CodePipeline で本番へ流します。

不正解 この構成は応答を蓄積して見える化するだけで、生成された文章の品質を数値で採点する機能を持ちません。QuickSight は集計値をダッシュボードへまとめる BI サービスであり、回答の正確性や有害性に点数を付けるものではありません。人が毎日目視で確認する運用は、件数が増えるほど遅れと判断のばらつきが広がり、しきい値判定の元になるスコアも生まれないため、要件に届きません。

D. CloudWatch アラームで応答レイテンシとエラー率を張り付けて監視し、しきい値を超えたら EventBridge ルールがチームへ通知を飛ばすようにします。本番への切り替えは Systems Manager の手動承認ワークフローに通します。

不正解 CloudWatch が追うレイテンシやエラー率は、システムの稼働状況を示す運用指標であって、応答の中身が正しいか・有害でないかという品質を測るものではありません。EventBridge の通知や Systems Manager の手動承認は障害対応には役立ちますが、複数テンプレートの定量比較・レビュー担当者の構造化フィードバック・自動デプロイゲートをひとまとめにする機能は持ちません。

全体的な説明

問われている要件

• 複数のプロンプトテンプレート出力を自動的に比較する仕組みが必要です。

• 応答品質の問題を検出し定量メトリクスで提示できる必要があります。

• 人間のレビュアーが応答に対して構造化フィードバックを与えられる必要があります。

• 品質しきい値未達の設定が本番にデプロイされないゲート機構が必要です。

• 更新ごとに繰り返し実行できる継続的な評価プロセスである必要があります。

前提知識

Amazon Bedrock 評価ジョブについて

• Amazon Bedrock の評価ジョブは、自動評価・LLM-as-a-judge・人間評価の3形態を提供する仕組みです。FM の選定や継続的な品質保証のために設計されています。

• 自動評価では、正確性（Accuracy）、堅牢性（Robustness）、有害性（Toxicity）などのメトリクスをプログラムで計算し、定量スコアを返します。タスクタイプとして質問応答・要約・分類・テキスト生成などが選択できます。

• LLM-as-a-judge では別の LLM を判定者として用い、Correctness や Completeness、Faithfulness（ハルシネーション検出）などの観点でスコアを付与します。判定者がスコアの説明文も生成するため、根拠を伴うレビューが可能です。

• 人間評価では、Likert 5 段階尺度・Thumbs up/down・Preference rank・Choice 比較などの評価方式を選べます。レビュアーは社内ワーカーまたは AWS マネージドチームから構成できます。

• カスタムプロンプトデータセットは Amazon S3 に JSON Lines 形式（.jsonl）で配置し、1ジョブあたり最大 1,000 プロンプトを扱えます。同じデータセットを複数構成に当てて比較できるため、入力ばらつきを排除した公平な比較が成立します。

プロンプトテンプレート評価とモデル更新の品質保証について

• プロンプトテンプレートの差し替えはモデル本体の差し替えと同様に品質影響を持ちます。同一データセットでの A/B 比較が品質回帰を捉える基本手段となります。

• 「ハルシネーション」とは、モデルが事実と異なる内容をもっともらしく生成する現象です。レイテンシや有害性フィルタでは検出できません。

• 定量メトリクスとして Accuracy・Robustness・Toxicity・Faithfulness・Correctness・Completeness が用いられ、しきい値ベースの自動判定に適合します。

CI/CD パイプラインによるデプロイゲートについて

• AWS CodePipeline は、ソース・ビルド・テスト・デプロイの各ステージを連結する継続的デリバリーサービスです。Lambda アクションや承認アクションを介して任意の AWS API を呼び出せます。

• プロンプトテンプレートまたはモデル設定の変更をトリガーに評価ジョブを起動し、ジョブ結果のスコアを取得して条件分岐させることで、しきい値未達の設定を後段のデプロイステージに進めない構成が組めます。

• 評価ジョブは非同期実行のため、GetEvaluationJob API でステータスをポーリングしてジョブ完了を確認する必要があります。ポーリングの実装方法は主に2つあります。①CodeBuild のビルドステップでポーリングループを実装する方法：スクリプトが Completed または Failed を検出するまでループし、完了後にスコアと閾値を比較して終了コードで CodePipeline の進行を制御します。CodeBuild のビルドタイムアウトは最大 36 時間まで設定可能なため、評価ジョブの所要時間を十分カバーできます。②CodePipeline の Lambda アクションで continuation token を使う方法：Lambda は 15 分の実行制限があるため、ジョブ未完了時にトークンを保存して一度終了し、CodePipeline から再度呼び出された際に続きの確認を行う非同期継続パターンを使います。

他サービスの守備範囲について

• Amazon CloudWatch は応答レイテンシ・エラー率・スループットなどの運用メトリクスを扱います。応答内容の品質判定は守備範囲外です。

• Amazon Bedrock Guardrails は有害コンテンツ・禁止トピック・機密情報（PII）を検出して遮断する安全制御の機能です。応答の正確性・関連性・完全性を定量スコアで採点する機能や、複数テンプレートを比較する機能は持ちません。

• Amazon QuickSight は BI ダッシュボードであり、テキスト生成品質を採点する機能は持ちません。

図による解説

★★本編には図解が貼付されます★★

プロンプトテンプレートの変更を引き金に、評価ジョブのスコアをデプロイ判定へ直結させます。①でテンプレートの変更を検知したCodePipelineが評価ジョブを起動し、S3のカスタムプロンプトデータセット（JSONL形式）を共通入力として複数構成を公平に比較します。評価ジョブは自動評価・LLM-as-a-Judge・人間評価の3形態で定量スコアとフィードバックを算出します。②でCodeBuildがGetEvaluationJob APIにより完了をポーリングしてスコアを取得し、③で品質しきい値を超えた設定だけ本番デプロイを許可し、未達の設定はブロックします。レイテンシや有害性フィルタだけでは応答品質の劣化を検知できず、しきい値ゲートを評価ジョブに接続することが低品質設定の本番投入を防ぐ要です。

解くための考え方

「複数テンプレートの自動比較」「定量メトリクス」「レビュー担当者のフィードバック」「しきい値によるデプロイゲート」の四つを、一つの仕組みに載せられるかが分かれ目です。

まず、応答の品質を数値で掴むには、生成された文章そのものに点数を付ける手段が不可欠です。レイテンシやエラー率は稼働状況の代理指標に過ぎず、Guardrails の有害性フィルタも安全性の一側面を遮断するだけで、正確性・関連性・完全性の劣化をすり抜けてしまいます。運用監視だけで判断する構成や、有害性フィルタだけで合否を決める構成は、この段階で落とせます。

レビュー担当者のフィードバックについては、Bedrock の人間評価ジョブが Likert 尺度・Thumbs up/down・Preference rank などの画面とワークフローを用意し、判定結果を構造化した JSON として S3 へ出力します。人が毎日目視するだけの運用と違い、集めた評価をそのまま後段のしきい値判定へ渡せます。

公平な比較という観点では、本番トラフィックを間引く方式は入力の偏りを固定できず、テンプレート間の比較に余計な変数が紛れ込みます。一方、評価ジョブはカスタムプロンプトデータセットを共通入力として複数構成へ当てるため、条件を揃えた再現性のある比較ができます。

デプロイゲートについては、評価ジョブが CreateEvaluationJob と結果出力を備えるため、CodePipeline から起動して得点を条件判定へ通せば、しきい値未達の設定を後続へ進めない自動ゲートが組めます。この四つを単一のマネージド基盤で賄えるのは、評価ジョブと CodePipeline の組み合わせだけです。

参考資料★★本編にはAWS公式ドキュメントへのリンクが貼付されています★★

• Evaluate the performance of Amazon Bedrock resources（公式ドキュメント）

• Amazon Bedrock Evaluations 製品ページ

• Starting an automatic model evaluation job in Amazon Bedrock

• Create a human-based model evaluation job - Amazon Bedrock

• Use prompt datasets for model evaluation in Amazon Bedrock

• Create a prompt dataset for a model evaluation job that uses a model as judge

• Review a human-based model evaluation job in Amazon Bedrock

• CreateEvaluationJob API リファレンス

• GetEvaluationJob API リファレンス

• Monitor Amazon Bedrock job state changes using Amazon EventBridge

• Amazon Bedrock model evaluation is now generally available（AWS Blog）

• AWS CodePipeline 製品ページ

• Invoke an AWS Lambda function in a pipeline in CodePipeline（continuation token パターン）

• Amazon Bedrock Guardrails 概要

他の教材との違い

従来の問題集の課題：

• Bedrockの各機能を表面的に列挙するだけで「なぜその機能か」が理解できない

• 設計判断の根拠が不明瞭

• 複数サービスを組み合わせたアーキテクチャ全体像が見えない

本教材の優位性：

• 2026年最新の出題傾向を完全分析した問題設計

• 各サービスや機能の適用範囲と使い分けを明確に解説

• アーキテクチャ図でサービス間のデータフローと設計の全体像を視覚的に理解

• コスト・パフォーマンス・規制対応・メンテナンス負荷のトレードオフを実務観点で解説

• AWS公式ドキュメントへの参考リンクで深い学習が可能