今さら聞けないシリーズ - はじめての画像処理

こちらのウェビナーの資料です。

今さら聞けないシリーズ : はじめての画像処理 https://pages.databricks.com/jp-webinar-202209-Image-Processing.html

今さら聞けない画像処理 #Databricks - Qiita https://qiita.com/taka_yayoi/items/2e652c2796a8738acac8

Transcript

1. 今さら聞けないシリーズ はじめての画像処理 弥生 隆明 シニアソリューションアーキテクト データブリックス・ジャパン 2022/9/21 16:00 - 16:55
2. 自己紹介 弥生 隆明 (やよい たかあき) シニアソリューションアーキテクト ▪ 2020年からデータブリックス ジャパンにおいて、プレセー ルス、POCに従事 ▪ 前職はコンサルティングファーム、総合電機メーカーにて データ分析・Webサービス構築などに従事。インド赴任経 験あり。 ▪ 趣味で画像処理アプリを作ったりしています。 ▪ Qiitaでいろいろ書いています。
3. ©2022 Databricks Inc. — All rights reserved 日本初のデータブリックス本を出版しました データブリックス クイックスタートガイド • 「データブリックスって聞くけど、一体どういうものなのだろうか」と思われている方、データブリックスを触り始めた方を対象として、 データブリックス・ジャパンのエンジニアの有志で本書を執筆しました。本書をご一読いただければ、データブリックスとは何か、 データブリックスをどのように使うのかを一通り理解できる内容となっています。 • データとAIを活用して業務を変えたい、機械学習モデルを本格的に運用することを前提としてデータ /AI基盤を構築したいと考えら れている方に本書が一助になれば幸いです。 1章 Databricks(データブリックス)とは？ 1. はじめに 2. 背景 3. レイクハウスの誕生 4. データブリックスとは 5. コンセプト 6. アーキテクチャ 7. 主要機能 8. コスト 2章 データブリックスのセットアップ 1. データブリックスのセットアップ - AWS 2. Azure Databricksのセットアップ 3. データブリックスのセットアップ - Google Cloud 3章 データブリックスを使ってみる 1. データブリックスのユーザー・グループ 2. Databricksクラスター 3. Databricksノートブック 4. データブリックスのジョブ 4章 ユースケース別ガイド 1. データエンジニアリング 2. 機械学習 3. BI 5章 ツール連携 1. Repos 2. Partner Connect 6章 MLOpsの実現に向けて
4. アジェンダ • 画像処理とは • 画像処理・画像解析で何ができる？ • 画像処理・画像解析ウォークスルー • まとめ
5. ©2022 Databricks Inc. — All rights reserved 画像処理とは 我々が日常的に目にする画像をコンピューターで処理する技術です • 画像処理とは、主にコンピュータを使用して、画像を変形したり、色合いを変えたり、別の画像と合成したり、画像から何ら かの情報を取り出す等の処理を指します。 • そして、近年では、コンピュータが画像の内容を理解し、情報の抽出やデータ化を行う 画像解析の適用も進んでいます。 カラー画像 グレースケール画像
6. ©2022 Databricks Inc. — All rights reserved 画像解析とは 画像から被写体の形状、色、サイズなどを抽出する技術です • 画像データの増加による画像データ活用の可能性の拡大、 機械学習、人工知能技術の進展により、コンピュータを用い て、画像データから人、顔、自動車、部品などを抽出し、その形状、色などを判定することで、異常行動の検知、認証、品質 チェックを行うという取り組みが増えています。対象は画像だけではなく、動画にも拡大しています。 • 最近ではMidjourneyなどによる画像生成も流行り始めていますが、今回は割愛します。 画像からの物体検知
7. アジェンダ • 画像処理とは • 画像処理・画像解析で何ができる？ • 画像処理・画像解析ウォークスルー • まとめ
8. ©2022 Databricks Inc. — All rights reserved 画像解析の適用事例 もはや画像解析は実験段階ではなく実運用されるレベルになっています • コンバインによって収穫される穀物をカメラで継続的にモニタリング • 穀物にダメージが認められた場合には、自動的に機械の制御パラメー ターを調整 収穫を増やすために John DeereはどのようにAIを活用したのか (Databricksユースケース) • eコマースサイトに掲載する服の形状を検出し、自動で背景を除去。 • 背景画像を統一することで、サイトの一貫性を確保。 PyTorchによるeコマースのファッション画像背景の自動除去 • 画像処理技術の進展と新たな効率的な計算ツールの出現により、 デジタル病理学は研究、診断の両方において中心的な位置を占めるよう に。 • 癌や感染症を診断し、治療する際の効率・効果を改善。 Databricksにおける機械学習による病理画像分析の自動化 デジタル病理学 (Digital Pathology)
9. ©2022 Databricks Inc. — All rights reserved 画像解析でできること 画像解析によって人間の目、あるいはそれ以上の能力を活用できます 物体検知 画像・映像内の特定の物体を検知することで、個数カウント、サイズ測定、不良品検知などをおこないます。 パターン検知 X線画像から腫瘍のパターンを検知することで、病状の早期検知につなげます。 顔認識 スマートフォンでも広く用いられており、新たな認証手法として確立されています。 文字認識 画像上の文字を認識し、翻訳を行うことがごく自然に行われています。 類似画像検索 画像の形状などから類似性を算出し、似ている画像を検索します。
10. アジェンダ • 画像処理とは • 画像処理・画像解析で何ができる？ • 画像処理・画像解析ウォークスルー • まとめ
11. ©2022 Databricks Inc. — All rights reserved 画像処理ウォークスルー ここではコンピュータビジョンのライブラリOpenCVを使用します グレースケール変換 カラー画像をグレースケールに変換します。 エッジ検出 画像の輪郭を検出します。 サイズ変更 画像サイズを変更します。 (おまけ)画像処理を活用したiPhoneアプリ
12. ©2022 Databricks Inc. — All rights reserved 画像解析ウォークスルー Databricksにおける画像の取り扱いから画像解析の例を説明します 画像データの取り扱いおよび画像のラベリング 画像解析を行う際の基本的な流れを説明します。 物体検知 画像・映像内の特定の物体を検知することで、個数カウント、サイズ測定、不良品検知などをおこないます。 パターン検知 X線画像から腫瘍のパターンを検知することで、病状の早期検知につなげます。 類似画像検索 服や靴の画像を入力として、類似する画像を抽出します。
13. アジェンダ • 画像処理とは • 画像処理・画像解析で何ができる？ • 画像処理・画像解析ウォークスルー • まとめ
14. ©2022 Databricks Inc. — All rights reserved まとめ Databricksで画像解析を活用してビジネス価値を生み出してみませんか 画像解析 • 並列分散処理による高速化 • GPUクラスターの活用 • さまざまなライブラリをサポート • モデル管理やモデルデプロイをカ バーするMLOpsの実現 ブリックスちゃん
15. ©2022 Databricks Inc. — All rights reserved まとめ 見てみたい！ もっと知りたい！ 試してみたい！ デモ・ハンズオン ご興味のテーマに関し て深堀 PoC • 実環境を使ったデモや、一時的に触っ ていただける環境を活用したハンズオ ンを実施 • デモ・ハンズオン共に、ETLや機械学 習といったテーマでご案内 • セキュリティ・ガバナンス、アーキテク チャー、課金体系等気になる点に関し て追加での説明 or 資料共有 • 類似サービスとの比較・相違点等のご 紹介 • 無償でPoCをサポート • 通常2週間のPoC期間中、Databricks 使用料と技術サポートを無償でご提供 • パブリッククラウドのストレージ、コン ピュートコストはお客様ご負担となりま す (AWSの場合S3やEC2等) Databricksにご興味が出たらお声がけください
16. ©2022 Databricks Inc. — All rights reserved 16 データブリックスに関してわかりやすく理解できる漫画シリーズ https://databricks.com/discover/manga-series-jp
17. ©2021 Databricks Inc. — All rights reserved 17 JEDAIは、データブリックスを最大限 ご活用いただくための有益な情報を ご提供するとともに、ユーザー同士 がつながり、関係を深めることができ る場として活動いたします。
 2021年は5回の開催を予定していま す。ぜひお気軽にご参加ください。
 データブリックス・ジャパン株式会社 
 Senior Customer Success Engineer 
 徳元 大 輔
 通信事業者で様々な業務を経験した 後にビッグデータ業界に。現在は Databricks Japanでポストセールス の頼れるなんでも屋さんを目指して いる。趣味は、飲み食べ歩き・キック ボクシングと過度なエクササイズ・海 外SF小説。好きな映画：ブレードラン ナー、パルプフィクション。座右の銘： 無欲は怠惰の元である。
 お客様セッション
 5・7・9・11・1月開催（予定）
 データブリックスをご利用頂いてるお客様企業やデータ＆AIのプロ フェッショナルをお招きして、実際現場で苦悩されている点や、さらに は普段他では話すことのできないハプニング、ココでしか聞けない開 発秘話など、存分にお話いただきます。
 セッションの他にも、Q＆Aの時間をたっぷり設け、オンラインの枠を 超えた、できる限りインタラクティブなコミュニケーションが取れるよう にいたします。
 テーマ別セッション
 6・8・10・12月開催（予定）
 データプロジェクトにおける世界の最新トレンドからAI/機械学習プロ ジェクトの実運用まで、毎回テーマを設定し、弊社のパートナー様や弊 社のデータ&AI プロフェッショナルが、ご説明します。セッションの他に も、Q＆Aの時間をたっぷり設け、オンラインの枠を超えた、できる限り インタラクティブなコミュニケーションが取れるようにいたします。
 プログラム概要
 コミュニティへの登録方法
 コミュニティの運営は「Connpass」を利用いたします。
 こちらの登録は、Eメールアドレスに加え、各種ソーシャルアカウント（Twitter, Facebook）との連携が可能です。
 ご登録はこちら＞
 https://jedai.connpass.com/
 Community Guide 

18. ©2022 Databricks Inc. — All rights reserved 参考リンク集 • ウェビナーで使用したノートブック・資料 ◦ https://github.com/taka-yayoi/public_repo/tree/main/20220921_image_webinar ◦ Databricksにおける機械学習による病理画像分析の自動化 ◦ eコマース向け類似画像レコメンデーションシステムの構築 • 書籍「データブリックス クイックスタートガイド」 ◦ https://www.amazon.co.jp/dp/B09V1YXFVQ/ • データブリックス漫画シリーズ ◦ https://databricks.com/discover/manga-series-jp • データブリックスユーザー会 ◦ https://jedai.connpass.com/ • データブリックスのQiitaページ ◦ https://qiita.com/organizations/databricks