7ステップで体感するマルチモーダル生成AIハンズオン

※2025/1/22 HeyGenを使ったAIアバターに自分の声で喋ってもらう動画生成の方法を追加しております。

※2024/7/2 Gen3 Alphaとgpt-4oによる動画生成プロンプトエンジニアリングを追加しております。

※2024/6/15 LumaのDream Machineによる動画生成を追加しております。

※2024/2/8 Google Bard(Gemini-Pro)による画像生成追加しております。

# 概要

OpenAI Development Day 2023に発表された最新技術をフル活用して、人事採用面接を自動化するハンズオン講座「7ステップで体感するマルチモーダル生成AIハンズオン」です。Google ColaboratoryでPythonを利用して手軽に受講が可能です。2023/12/23「Suno AIを使った作曲を体感」も追加しました。2024/1/31 秒速で作るGPTsの作り方を追加しました。

# 目次

1) Colab/Colab Proのセットアップ方法

2) GPT-4-TURBOを利用して採用面接における質問を自動生成

3) GPT-4-TURBOを利用してDALL・E3のプロンプトテンプレートを生成

4) DALL・Eを利用して、面接官の画像を自動生成

5) TTS(Text To Speech)を利用して面接官の声を自動生成

6) wav2lip-hqを利用して面接官画像にTTSの声で話させる（口も動かす）

7) 候補者の発言を音声認識

8) GPT-4-TURBOにより候補者の発言と、会社・組織の理念や募集要項と照らし合わせた評価を返却

9)Runwayとwav2lip-hqでより自然な面接官を生成

10) GPT-4 With Visionを利用して書類選考も自動化

11)Suno AIを使った作曲を体感

12)GPTStoreのinvideo video maker AIの使い方

13)プロンプトジェネレータとGPT Agent Builderを使ったGPTsの最短作成術　ハンズオン

14) (おまけ）Gemini 1.5 Flashを利用した動画解釈

15) (おまけ) LumaのDream Machineを利用した動画生成