【初心者のため生成AIセキュリティ】OWASP LLM Top 10 2025で学ぶ最新生成AIのセキュリティ

このコースでは、生成AIや生成AIを組み込んだシステムのセキュリティについて学びます。

生成AIの分野では、様々なサービスが発展しており、従来のシステムに簡単に生成AIを組み合わせたり、新しく生成AIを組み込んだシステムを開発したり、今までシステム開発に携わっていた開発者が、生成AIを組み込んだシステムを開発するケースが増えています。

それに伴い、プロンプトインジェクション、モデルの汚染といった新たな攻撃方法がでてきました。従来までのシステムにあった攻撃方法に加えて、生成AI特有の攻撃方法です。この講座では、OWASP LLM Top 10 2025を使って、最新の生成AIや生成AIを組み込んだシステム特有のセキュリティを学びます。

概要

1. 生成AIや生成AIを組み込んだシステムへの攻撃を理解する

2. また、この攻撃による影響とその緩和策を理解する

3. OWASP LLM Top 10 2025を使い最新の攻撃やその事例を学ぶ

   
   

   上記の点を理解することで、生成AIのセキュリティに取り組み始めましょう。

   
   

本コースが目指すこと

・生成AIや生成AIを組み込んだシステムには、どんな攻撃があるのか？

プロンプトインジェクションは、生成AIを狙った新たな攻撃です。プロンプトインジェクション攻撃のメカニズムや攻撃をされたときにシステムのどの部分に影響するのか？その緩和策は、どんなものがあるのか？これらのことを理解した上で、安全な生成AIおよび生成AIを組み込んだシステムを開発できるようになることを目指します。

・具体的な攻撃のシナリオを解説

OWASP LLM Top 10 2025は、生成AIおよび生成AIを組み込んだシステムに対する攻撃やリスクの上位10個です。この10個について、事例を交えながら具体的に説明しますが、攻撃する方法を学ぶのではなく、攻撃を緩和する緩和策を実施できることを目指します。

・リスク軽減するために実施すること

狙われるポイント、シナリオを理解したら、最後にリスクを緩和すること焦点をあてて解説します。例えば、プロンプトインジェクションであれば、入力されたプロンプトの検証やエンコード方法、さらに生成AIが出力した内容の検証についても解説します。OWASPのプロジェクトであるOWASP ASVSやOWASP Cheat Sheet Seriesを活用しながら、緩和策を解説していきます。

コンテンツ

LLM01:2025 プロンプトインジェクション

LLM02:2025 機密情報の漏えい

LLM03:2025 サプライチェーンリスク

LLM04:2025 データとモデルの汚染

LLM05:2025 不適切な出力検証

LLM06:2025 過剰な権限付与

LLM07:2025 システムプロンプトの漏えい

LLM08:2025 ベクトルデータと埋め込みモデルの弱点

LLM09:2025 誤った情報

LLM10:2025 無制限の消費

OWASP LLM Top 10 の緩和策