AIセキュリティ入門 -生成AI・RAG・AIエージェントを安全に使うための基礎-

AIセキュリティが、モデルだけでなく入力、出力、データ、外部ツール、利用者、運用を含む考え方であることを学びます。安全なAI活用に必要な基本原則を確認します。

認証、アクセス制御、脆弱性管理などの従来の対策が、AIシステムでも重要であることを確認します。そのうえで、確率的な出力やプロンプトインジェクションなど、AI特有の違いを学びます。

情報の過剰入力、ハルシネーション、外部データの影響、AIエージェントの誤操作など、生成AIの普及によって重要になったリスクを整理します。AIが扱うデータと操作範囲が広がることの影響を理解します。

AI利用者、AIアプリ開発者、組織の管理担当者という3つの立場から、注意すべきリスクと責任を整理します。安全なAI活用には、立場を超えた連携が必要であることを学びます。

NIST AI RMF、OWASP、MITRE ATLAS、ISO/IEC 42001など、代表的なフレームワークの目的と特徴を学びます。組織管理、アプリ設計、脅威分析など、目的に応じた使い分けを理解します。

入力、LLM、RAG、出力、ツール実行、ログという処理の流れに沿って、AIシステムのリスクを可視化します。リスクと必要な対策をシステム全体で整理する方法を学びます。

LLMが大量の文章からパターンを学び、入力に続く文章を確率的に生成する仕組みを学びます。自然な回答が、必ずしも正確な回答ではない理由を理解します。

生成AIの基本構造を把握し、セキュリティ上の問題点を把握するための基盤を学びます。

ユーザーが入力するプロンプトと、アプリ側が設定するシステムプロンプトの役割を整理します。指示の優先関係や、プロンプトだけに安全性を依存する危険性を学びます。

LLMにとって、命令と参考情報がどちらも文章として入力されることによる問題を学びます。文書やメールに含まれる文章が、AIへの指示として解釈される可能性を理解します。

アプリケーションから外部のAI APIへ、プロンプトやデータが送信される流れを学びます。画面上では見えにくいデータ送信先やログ、外部依存のリスクを確認します。

ユーザーの質問に関連する文書を検索し、その内容をLLMへ渡して回答を生成するRAGの仕組みを学びます。検索結果がAIへの入力になることの意味を理解します。

メール、ファイル、データベース、外部APIなどとの連携によって、AIエージェントの攻撃面が広がる理由を学びます。入力から実操作までの経路を安全に設計する必要性を理解します。

不正な指示によって、AIの本来のルールや振る舞いを変えようとするプロンプトインジェクションの基本を学びます。従来のインジェクション攻撃との違いも確認します。

ユーザーがチャット画面や入力欄から、不正な指示を直接与える攻撃を学びます。禁止事項の回避やシステム情報の探索など、代表的なパターンを理解します。

Webページ、PDF、メール、RAG文書などに埋め込まれた指示が、AIの判断に影響する攻撃を学びます。外部データを無条件に信用する危険性を確認します。

AIの役割や内部ルールを記載したシステムプロンプトが、推測・出力されることで生じるリスクを学びます。システムプロンプトに秘密情報を保存してはいけない理由を理解します。

自然言語の意味や意図を、入力フィルターやプロンプトだけで完全に判定することが難しい理由を学びます。攻撃を完全に防ぐのではなく、影響を限定する設計の重要性を確認します。

架空の社内FAQボットを使い、プロンプトインジェクションによってどのような問題が起こり得るかを確認します。単純な禁止指示だけでは防御が不十分であることを体験します。

プロンプトインジェクションの影響を小さくするため、権限分離、外部データの隔離、人間による承認などの対策を学びます。複数の防御層を組み合わせる考え方を理解します。

社内FAQボットの構成を題材に、検索範囲、アクセス制御、外部データ、出力の扱いを検討します。リスクを洗い出し、安全な構成へ改善する練習を行います。

チャットへの直接入力、ファイルアップロード、RAG、ログなどを通じて情報が漏れる経路を学びます。利用者が意識していないデータ送信にも注意が必要であることを理解します。

顧客情報、未公開情報、契約情報、ソースコード、認証情報など、AIへ安易に入力してはいけない情報を具体的に学びます。入力前に判断するための観点を身につけます。

個人を識別する情報、組織が秘密として管理する情報、システムへのアクセスに使う情報の違いを整理します。それぞれの漏洩時に起こる影響と、必要な管理方法を学びます。

質問や回答、検索結果、ファイル名などがチャット履歴やログに残ることによるリスクを学びます。保存内容、閲覧権限、保存期間を管理する必要性を理解します。

自社アプリから外部AI APIへ、ユーザー入力、システムプロンプト、RAG文書などが送信される可能性を学びます。送信先での保存や利用条件を確認する重要性を理解します。

不要な情報を削除するデータ最小化、値を置き換えるマスキング、個人を特定しにくくする匿名化の違いを学びます。目的に必要な情報だけをAIへ渡す方法を確認します。

複数の業務情報を例に、AIへそのまま入力できるか、加工が必要か、入力すべきでないかを判断します。実務で入力前に立ち止まる習慣を身につけます。

AIの出力が自然であっても、正確性、安全性、最新性が保証されないことを学びます。出力の利用方法によって、リスクの大きさが変わることを理解します。

AIが存在しない事実、出典、数値などを、もっともらしく生成するハルシネーションについて学びます。発生する理由と、見抜きにくい特徴を確認します。

顧客対応、社内規程、契約、調査、技術文書などで誤情報を使った場合の影響を学びます。用途の重要度に応じて、確認方法を変える必要性を理解します。

AIが生成した文章を、確認せずにWebサイト、メール、SNS、社内資料などへ掲載するリスクを学びます。事実、表現、権利、機密情報をレビューする必要性を確認します。

AIの出力をHTML、SQL、コマンド、コードなどとして無条件に利用する危険性を学びます。出力を外部入力と同様に検証し、テストする必要があることを理解します。

AIが生成した文章やコードを題材に、誤情報、機密情報、不適切表現、危険な処理などを確認します。公開・送信・実行前のレビュー観点を身につけます。

LLMの内部知識だけでなく、社内文書や最新情報を検索して回答できるRAGの利点を復習します。根拠を示しやすく、業務知識を反映しやすい特徴を理解します。

文書検索、ベクトルDB、メタデータ、根拠表示などが加わることで、RAGの管理範囲が広がることを学びます。便利さとともに新たな攻撃面が生まれることを理解します。

利用者が閲覧できない文書を検索し、LLMへ渡してしまう問題を学びます。回答段階ではなく、検索前に権限を適用する必要性を理解します。

RAGへ文書を登録する前に、機密区分、公開範囲、正式版、更新日、所有者などを確認する方法を学びます。取り込み禁止文書を明確にする重要性も確認します。

RAGに登録された文書内の不審な指示が、AIの回答やツール実行に影響する可能性を学びます。文書内容を命令として扱わない設計の必要性を理解します。

文書本文だけでなく、チャンク、ベクトル、ファイル名、権限情報、検索ログも保護対象になることを学びます。元文書削除後の残存データにも注意します。

文書分類、検索前のアクセス制御、必要最小限のチャンク取得、根拠表示の制御などを組み合わせた設計を学びます。RAG全体を多層的に守る方法を確認します。

架空の社内文書検索AIについて、文書の取り込み、検索、回答、ログの各段階でリスクを洗い出します。安全なRAGへ改善するための対策を検討します。

LLMが目的を理解し、必要なツールを選び、結果を確認しながら処理を進めるAIエージェントの基本を学びます。回答するAIから行動するAIへの変化を理解します。

入力へ回答するチャットボット、文書を検索して回答するRAGボット、ツールを使って行動するAIエージェントを比較します。行動範囲に応じてリスクが増えることを学びます。

メール下書き、カレンダー確認、文書検索、チケット作成、データベース参照など、代表的なツール実行を学びます。操作ごとに異なる権限と承認の必要性を確認します。

外部データの参照、複数ツールの実行、処理ループ、システム権限によって、誤判断の影響が広がる理由を学びます。誤回答が実害へ変わる可能性を理解します。

目的に必要ない権限までAIへ与える過剰権限の危険性を学びます。メール送信、削除、更新、権限変更、本番操作などを重要操作として管理する考え方を確認します。

AIには必要最小限の権限だけを与え、重要操作は人間が確認してから実行する設計を学びます。承認画面に表示すべき情報や役割分担も確認します。

AIが何を判断し、誰が承認し、どの操作を実行したかを記録する方法を学びます。問題発生時に原因を追跡し、停止や切り戻しを行うための設計を理解します。

メールの読み取り、宛先提案、添付候補、送信などの機能についてリスクを洗い出します。最小権限、人間の承認、ログを組み込んだ安全な構成を検討します。

AIシステムが、学習データ、外部モデル、ライブラリ、AI API、インフラなど、多くの要素に依存していることを学びます。依存先の問題がシステム全体へ影響することを理解します。

外部AIサービスへ送信されるデータ、保存や学習利用の条件、サービス停止、仕様変更、契約などのリスクを学びます。外部サービスを自社システムの一部として管理する視点を身につけます。

オープンソースモデルのライセンス、配布元、安全性、学習データ、運用責任を学びます。公開されていることと、業務で安全に使えることが別であると理解します。

学習データへ誤ったデータや悪意あるデータを混入させ、モデルの判断や出力へ影響を与えるリスクを学びます。データの出所、品質、変更履歴を管理する重要性を確認します。

改ざんされたモデル、出所不明のモデル、悪意あるパッケージ、脆弱な依存ライブラリの危険性を学びます。モデルやライブラリをソフトウェア部品として管理する方法を確認します。

長い入力、大量リクエスト、処理ループなどによって、AIサービスの可用性や費用へ影響が出るリスクを学びます。回数、トークン、処理時間、予算に上限を設定する必要性を理解します。

プロンプトインジェクション、情報漏洩、AI出力、RAG、AIエージェント、サプライチェーンなど、コースで扱った内容を総合的に振り返ります。各テーマに共通する安全設計の考え方を整理します。

外部データを信用しすぎない、機密情報を渡しすぎない、AI出力をそのまま使わない、権限と承認を管理する、監視と更新を続けるという5つの原則を確認します。

コース修了後に学ぶべき、脅威モデリング、AIレッドチーミング、安全な開発プロセス、モニタリング、インシデント対応、ガバナンスを紹介します。学びを実務へ継続的に反映することの重要性を確認します。