
まずはじめに講座の目的を説明します。
この動画では、このコースの概要について解説しています。
この講座ではopenFrameworksの基本的な使い方を作品作りを通して解説して行きます。また、openCVや音声認識を使ったメディア作品作りにも挑戦していきます。
openFrameWorksから一連の技術(openCV,音声認識)を駆使して、自作のアプリケーションを作れるようになることを目標に解説をして行きます。そのため、自己学習の手助けのなるような情報も含みながら解説して行きます。
インタラクティブ作品とはどんなものなのか知っていただくために、作品事例の探し方の紹介をします。
この動画では、openFrameworksの概要説明とインタラクティブアート系で人気の高いツールについて紹介します。
openFrameWorksをはじめるための環境作りのヒントを解説します。
openFrameworksでアプリ開発を行うにはIDE(総合開発環境)を導入することがおすすめです。Macの方はXcode, Windowsの方はVisual Studio上がおすすめです。※すでに環境がある方はこの動画はスキップしても大丈夫です。
※ちなみに講師はosX, Xcode9.2, openFrameworks0.9.8です。
openFrameworksの新規プロジェクトの作り方について解説します。
基本図形を描画しながらopenFrameworksの基本的な操作方法について解説します。
『円』を描画して、openFrameworksの基本的な操作方法について解説します。
openFrameworksに同封されているExampleプロジェクトを実行してみましょう。Exampleの開き方を説明します。
addonについて解説します。
addonはopenFrameworksの拡張ライブラリーのことで、世界中のクリエイティブコーダーの手によって開発さています。addonを使うことで、最小限の専門的な知識で高度な技術にアクセスすることができます。
実際にaddonを使ってみましょう。今回使うaddonはofxCvです。ofxCvはopenCVと呼ばれる画像認識ライブラリーをopenframeworksで使えるようにしたもので、今回の動画では物体の輪郭を抽出する機能を使ってみます。
この動画では色の制御方法について解説します。この動画をみることで図形やオブジェクトの色を制御することが可能になります。
この動画では図形の形状の制御の仕方について解説します。
この動画ではofVertexを使って自在に図形関数を作る方法を解説します。この方法を習得すれば、星型や台形・多角形などを自在に作れるようになります。
図形を数式により動かしてアニメーションさせる方法を解説します。
以下のテキストファイルをあらかじめダウンロードしておいてください。テクストファイルには図形のサンプルコードが入っていますので、動画内の指示を参考に、このコードをdraw関数にコピーして使ってください。もちろんご自身で作られた自作の図形を使って、アニメーションをつけてみても構いません。
この動画では座標変換によるアニメーションの制御について解説します。
座標変換を行う関数を用いることで画面全体を制御したり、個別の図形を制御することができます。この動画をみることで、X,Y,Z方向への移動、回転、大きさの制御が可能になります。
openFrameworksにおけるキーボードによるインタラクションの付け方について説明します。
マウス操作によるインタラクションをつけ方について解説します。
webカメラ入力を使ったインタラクティブ作品を作る前に、画像解析ライブラリーであるopenCvの概要について解説します。
次の動画でopenCvを使ったweb入力に呼応するちょっとしたインタラクティブな作品を作ります。
webカメラからの映像情報をopenCvを使って解析し、図形を変化させるインタラクティブ作品を作ってみます。
※webカメラを用意してください。
openFrameworksにおけるサウンドファイルの取り扱い方について説明します。
ofSoundPlayerによるサウンド制御の方法について解説します。
シンプルなオーディオビジュアル表現に挑戦していきます。
高速フーリエ変換(FFT)の概要について解説します。
openFrameworksでofxFftを使った音声の解析方法を解説します。
音の可視化に挑戦していきます。
音響合成(サウンドシンセシス)に挑戦します。数式から作ってみましょう。
インタラクティブ作品作りでよく用いられるOpenSoundControl(OSC)について解説します。
openFrameworksにおけるOpenSoundControl(OSC)の使い方を解説していきます。この動画ではOfxOscをインストールしていきます。
ofxOscの使い方を解説します。
後半で取り組んで行くことについて説明します。
アイディアを考えていきます。
アイディアを技術に落とし込んでいきます。
openCvをプロジェクトの中に取り込んでいきます。
作品の見られる部分を作っていきます。
ofxGuiを使って画面上から調整できるようにしていきます。
画像を読み込んでいきます。
音声認識の簡単な概要について説明します。
音声認識エンジンであるJuliusを実際に使っていきます。
作品に音をつけていきます。
アプリのリリース方法とプロジェクターと額縁を使って設営してみます。
作品の評価とコースのまとめ
インタラクティブ作品を作りながら、C++ベースのクリエイティブなツールキットであるopenFrameworksの使い方を基本から解説していきます。
openFrameworksは映像表現、ジェネラティブアート、音楽、音響合成、3DCG、モーショングラフィックスといったデジタルメディア表現から、MIDIやOSC、DMXを使ったデジタル楽器やライブ照明装置の制御。さらに、openCVを使った画像解析や音声認識といったセンシング技術との連携など、多様な領域の技術を統合することができる非常に強力でクリエイティブなツールキットです。最低限のプログラムの知識で様々な技術を組み合わせたアプリケーション開発が可能です。
Windos / Mac /Linux / iOS /Androidといった様々なプラットフォームの開発ができるのも特徴の一つです。また最大の特徴は、クリエイティブなコミュニティーとオープンソースであることです。コンピュータがあれば誰でも始めることができます。
このコースでは、インタラクティブ作品を作っていきながら、多様で創造的なopenFrameworksの基本的な使い方を解説していきます。今回はできるだけ幅広い使い方を紹介して、今後の作品作りやアプリケーション開発においてアイディを実現するためのスキルとなるようにカリキュラムをデザインしました。
そのため、openFrameworksをはじめてみたい方やインタラクティブ作品づくりに興味がある方が主な対象者となります。
前半のセクションでは、基本的な使い方から、図形の書き方、アニメーション、インタラクション、画像認識・ネットワーク通信・画像認識、サウンドなどの使い方を解説していきます。
後半のセクションでは、インタラクションデザイン手法に基づいて、作品を企画しながら、複数のセンシング技術を使ったインタラクティブ作品を作っていきます。