生成AIを活用した画像生成を学ぶ

生成AIを活用した画像生成を学ぶコペル合同会社 CEO Founder 坂本直樹 DALL-E3とVision

　自己紹介坂本直樹「クリエイターが創造にフォーカスできる世界をつくる」をミッションに、プロダクトおよび事業開発支援の会社を経営しています。テクノロジーを得意としており、これまでに CTOとしてスタートアップを3社起業し、直近では7社を支援しました。生成AIを使ったプロダクト開発を受託してます。 https://twitter.com/jar2
X(旧Twitter)やってます

　セミナーの目的生成AIを活用したオリジナル画像生成システムの構築方法を学ぶ • DALL-E3を使った画像生成 • Visionを使った画像の理解 • サンプルコードを実行してコードを理解する • クオリティの高い画像を生成する
• （おまけ）Stable Diffusion 3 API

　X（Twitter）のハッシュタグ #生成AIエンジニア塾

　画像生成で直面する課題画像生成でどのような課題がありますか？

　画像生成で直面する課題 • 生成した画像のクオリティが低い • 意図した画像を生成できない • 生成した画像の微調整が難しい • 著作権は大丈夫？以前、私が生成した画像
仕事で使えるクオリティが出せない

　こうなりました Before After • 意図する画像を生成する • 画像の細かな調整

　このセミナーから得られるもの生成AIシステムで最も重要な◦◦◦思考が得られるプロンプトやライブラリよりもこれが重要！

　このセミナーから得られるもの生成AIシステムで最も重要なループ思考「どういうこと？」ってなりましたよね→最後に回収します。

　最も簡単な画像生成システムの構築素材画像生成

　コード（詳しくはcolabへ）素材画像生成 response = create_completion(messages=[ {"role": "system", "content": "ユーザーから
提供された画像を完全に再現するプロンプトを作成してください。"}, { "role": "user", "content": [ {"type": "text", "text": "この画像のプロンプトを作成してください。"}, { "type": "image_url", "image_url": url, }, ], } ]) prompt: 画像には、景色の背景の前に座っている女性の肖像画が描かれています。女性は前方に向かって微笑みをたたえ、穏やかな表情で、視線は直接こちらを見ています。彼女は中世ヨーロッパ風の衣装を身にまとい、右手の上に左手をゆったりと重ねています。この絵画は非常に細かい技法で描かれており、特に肌の質感や光と陰の表現が緻密です。背景の風景画は遠近法が用いられており、岩や川、遠くには山々と空が表現されています。全体的に色調は深みのある暖色系と冷色系がバランスよく混在していて、落ち着いた雰囲気を醸し出しています。 # プロンプトを実行して画像を生成する response = images_generate(prompt=prompt)

　既存画像をもとにした画像生成素材特徴量を抽出画像生成 https://www.pinterest.jp/ 素材はpinterestで探す

　既存画像をもとにした画像生成素材画像生成

タイプ: 肖像画色: 暖色系の茶色、金色、およびクールな青緑色。被写体の肌は柔らかなベージュ、ピンク色のトーンを帯びています。背景は青みがかった緑色で、細部にはより暗い緑色や茶色が使用されています。〜〜〜省略〜〜〜　コード（詳しくはcolabへ）素材
特徴量を抽出目的は、提供された画像をもとに、内容を詳細に記述し、より高い再現度でプロンプトを生成することです。画像の各要素を細かく分析し、記述を豊かにしてプロンプトを改善します。 # ユーザーから提供された画像提供された画像を精密に分析し、再現するためのプロンプトを作成します。 # プロンプトの構造 - タイプ: 描かれているオブジェクトの種類やカテゴリー（例：人物、動物、自然、建築物、肖像画、風景画）。 - 人物: 画像に描かれている人物の性別、年齢、体格、特徴、服装、表情を詳細に記述します。〜〜〜省略〜〜〜

　アイデアの組み合わせによる画像生成 “マインクラフト” の世界観特徴量を抽出素材画像生成アイデアA アイデアB 新しいアイデア
組み合わせ ×

“指輪物語”の世界観 “誇張されたグルメ漫画”の世界観 × × 　アイデアの組み合わせによる画像生成素材画像生成

　アイデアの組み合わせによる画像生成

Generate an image of a youthful, gender-neutral puppy character in
animated style which exudes adorability. This puppy has large, sparkling eyes, long droopy ears, and a small round body. The puppy has light brown fur with white accents on its face and belly, a pink tongue, and black features for its nose, eyes, and parts of its mouth. Positioned at the center of the image against a potentially white or transparent background, the puppy embodies happiness and charm. The style is simple, 〜〜〜省略〜〜〜　コード（詳しくはcolabへ）画像生成組み合わせ #指示 Let's combine these prompt! #指示詳細 [ アイデア1とアイデア2の特徴量 ] #目的全てのプロンプトを混ぜて最適な画像を出力することです。〜〜〜省略〜〜〜

　AIによる評価関数でクオリティアップ素材画像生成評価関数チェックリストを更新フィードバック

# 命令プロンプトとチェックリストに基づいて、適切な修正が行われた画像を生成することが目標です。 # 素材画像のプロンプト {素材画像のプロンプト} # 画像生成に向けたチェックリストの
具体的な改善項目 - 調整する特徴: 目の大きさとスタイル - [目をよりリアルな比率とスタイルに変更し、キュートさを抑えた自然な表情に修正] - 調整する特徴: 色の使い方 - [明るく派手な色から、落ち着いた自然色に変更し、日本の伝統的な色合いに合わせる] - 調整する特徴: スタイルと姿勢 - [カートゥーンスタイルから実際の犬種を基にしたリアルな体形と姿勢に修正し、自然な動物の外見を持たせる] 　コード（詳しくはcolabへ） # 命令提供された画像に対してチェックリストを適用し、チェックリストの基準を満たしていない要素があれば、具体的な修正指示を出力してください。修正指示は、以下の出力形式に従って、チェックリストに照らし合わせた結果を基に明確に示してください。〜〜〜省略〜〜〜 ## 日本人の60代男性が好む動物不適切: 現代的で子ども向けの、過剰にキュートな動物の描写（例: アニメ風やカートゥーンスタイルの動物、大きな目や派手な色使い）適切な表現: 威厳と落ち着きを持ち、伝統的な日本の美学に則った動物の描写（例: 鷹や鶴、鯉、日本犬のような落ち着いた色合いで表現された、リアルかつ自然な姿勢の動物）素材画像生成評価関数＜チェックリスト＞ ## 日本人の60代男性が好む動物不適切: 現代的で子ども向けの、過剰にキュートな動物の描写（例: …）適切な表現: 威厳と落ち着きを持ち、伝統的な日本の美学に則った動物の描写（例: …）

フィードバック　ループ思考で継続的改善素材/テーマを選択特徴量を抽出画像生成評価関数画像生成ループループループ
意図通りの画像が出るまでループを回す素材/テーマをチューニングチェックリストをチューニング

　まとめ • 意図通りの画像が出るまでループを回す • クオリティの高い画像が出るかはガチャ要素があるので、いろんなアイデアの組み合わせを試すこと • 意図するものに近い出力が出たら、それをベースにチューニングしていく •
ループ思考は画像生成以外の生成AIシステム全般で使える • プロンプトやライブラリはGPTやClaudeに聞けば良いので、ループ構造を作ることに思考力を使う • ループが回転する程、創出する価値が増大するような構造を作ること

　おまけ 2月22日にStable Diffusion 3の早期プレビュー版をリリース、そして4月17日にStable Diffusion 3 APIをリリース https://stability.ai/news/stable-diffusion-3-api https://stability.ai/news/stable-diffusion-3
旧バージョンの2.1と3、そしてLeonardoAIを同じプロンプトで比較しました。ソースコードはcolabにあります。

　既存画像から画像生成特徴量を抽出素材プロンプト生成画像生成・DALL-E3 ・stable-diffusion-2-1 ・Stable Diffusion 3
API ・LeonardoAI API

DALL-E3 SD2.1 SD3 LeonardoAI 　4つのモデルを比較

stable-diffusion-2-1 Stable Diffusion 3 API LeonardoAI API 　3つのモデルを比較（プロンプトは購入した）プロンプトはPromptBaseから購入

　ローカルでStable Diffusionを動かしたい CursorからGoogle Colabに接続する。 CursorでAIペアプログラミングをしながら Google Colabのマシンパワーが使えます。 https://note.com/sakamoto0812/n/n5644f97a158c

生成AIを活用した画像生成を学ぶ

生成AIを活用した画像生成を学ぶ

naoki.sakamoto

Other Decks in Programming

Featured

Transcript