GPU環境が使える！以外にもある GoogleColaboratoryの良さ/advantages-of-google-colaboratory

引越しや庭木の剪定などの出張・訪問サービスのプラットフォーム「くらしのマーケット」を運営する、みんなのマーケット株式会社です。
GPU環境も使えるPythonの分析ツールであるGoogle Colaboratoryについて、実際に使って感じた、GPU環境以外の利点などを紹介します。

## エントリー
全職種で積極採用中！下記リンクより応募ください！(カジュアル面談も歓迎)
https://www.minma.jp/recruit

「話を聞いてみたい」もOKです！
応募フォーム→https://herp.careers/v1/minma/2qUQhRIRUr0Y/apply

Transcript

1. GPU環境が使える！以外にもある
 GoogleColaboratoryの良さ
 みんなのマーケット株式会社 
 コーポレート本部
 1
2. Google Colaboratory（以降：Colab）とは 
 ローカル環境へのPython環境の構築なしで、Webブラウザ上でPythonのコードの記述・実行できるサー ビスです。自身のPCにGPUがなくともGPU環境を利用可能(利用方法はページ8参照) 
 URL：https://colab.research.google.com/ 
 
 無料で使えますが、より処理能力が高い有償プランも用意されているので気になる方は以下をご覧くだ さい
 有償プランについて： https://colab.research.google.com/signup/pricing?hl=ja 
 
 
 次項からは実際にColab使ってみてのメリット・デメリット等を紹介していきますので、 
 ・これからPythonの環境を構築しようと思っている方 
 ・ローカルにPython環境はあるけどもColabも気になっている方 
 の参考になればと思います。 
 2 はじめに

3. 3 • みんなのマーケット入社前
 ◦ ローカル環境のPython分析環境 
 ◦ OSはWindows、マシンスペックはCore-i5でメモリは8〜16GB、GPUなし 
 
 • 今現在の分析環境
 ◦ Colabとローカル環境(Anaconda)の併用で、Colab99%、ローカル環境1%の利用比率 
 ◦ OSはMac、ローカル環境にGPUなし 
 
 • Colabを使い始めるきっかけ
 ◦ みんなのマーケット入社のタイミングで、今までWindowsしか使ったことがない筆者からする と、初めて使うMacにいきなりPython環境構築するの怖いなぁ怖いなぁ、と思っていたので、 簡単に使えるColabを使ってみよう、というのがきっかけです。 
 私のPython環境遍歴

4. 4 • データ分析
 
 • 各種API経由でのデータ取得
 Google Analytics(GA)やGoogle Search ConsoleのAPI経由でのデータ取得 
 
 • データ処理バッチ
 大量データを複数結合し、集計してアウトプットさせる等のバッチ処理 
 （スプレッドシートだけでも理論上データ処理できるが、重くて動かないような場合に、Pythonで処理 して結果をスプレッドシートに出力させる） 
 
 Colab利用初期の頃は「ローカル環境でもColabでもどっちでも同じかも」と最初は思っていました。が、社 内にコードを展開していくことが増えてきて、ローカルのPython分析環境にはないColabの良さがありまし た！
 Colabの主な利用用途

5. ブラウザベース（クラウドコンピューティング）なので、Python実行にまつわるローカル環境のCPU・メモリ を消費しないのはさておき、私が感じた大きなメリットは以下です。 
 
 • 環境構築が不要（組織内にPythonの分析コード等を展開していく場合） 
 自分以外の誰かにPythonを実行してもらう必要がある場合、 
 ・ローカル環境へのインストール方法の手順書作成 
 ・パッケージ統一するためのrequirements.txtを作って・・・・ 
 と言う作業が発生しますが、Colabは一切不要です。 
 Colabでコードを作成しファイル（ノートブック）を共有し・実行するだけです 
 
 • 環境が統一されている（差異がない）ので、問題が起きた時に解決しやすい 
 Colabはデフォルトでインストール済みのパッケージとそのバージョンが共通なため、社内展開時 でエラーが発生しても、コードを実行した方のパッケージのインストール・バージョン状況の環境確 認の手順を省けるので、解決までの手順が短縮できます。 
 逆に、デフォルトにはないパッケージは都度インストールする必要があります。 
 5 メリット

6. 逆に、これまで使ってきたデメリットも書きます 
 
 • スケジュール設定しての自動実行ができない 
 毎朝9時にこのコードを動かして、データが自動更新されるようにしたい、みたいなことはできない です。データ取得やデータ処理バッチのコードは自動実行でできるとより良いのですが、ここは致 し方なしです。
 
 • タイムアウトが発生する
 Colabを開いているタブをアクティブにしてない（いわゆるアイドル状態）と、結構すぐにタイムアウト して、セッションが切れてしまいます。公式にも明確な数値の記載はないですが、筆者の体感ベー スで15〜30分前後、タブを放置してるとアイドル状態になってます。 
 
 参考までに、有償版のPro+ にすると24時間はタイムアウトが発生することなく、バックグラウンド 実行できます。
 6 デメリット

7. 7 ローカル環境との比較
 Google Colab(2023/8/10時点) ローカルのPython環境 動作環境 Webブラウザ PCローカル GPU利用可否 設定（クリックのみ）で可 PCへのGPU搭載必須 環境構築 不要 必要（GPU利用時はさらに追加で CUDA等の環境構築が必要） 環境差異の発生 無 有 スケジュール設定しての自動実行 不可 タスクスケジューラやcron等との組 み合わせで可 連続実行 アイドル状態になるとタイムアウト となり切れる（有償版のPro+なら 24時間まで可） PC起動し続けている限り可
8. GPU環境が利用できることもメリットなので、参考までにGPU環境の利用方法を紹介します。
 GPU環境を有効にするには以下の手順で有効にしてください。
 *TPU(Tensor Processing Unit)と言う、Googleが開発した機械学習により特化したプロセッサも選択できます。GPUよりもTPU の方が計算能力が高いと言われており、筆者の個人的な意見としてはTPU環境がおすすめです。
 ＜利用手順＞
 1. 右上にある ▼ を押す
 
 
 2. ランタイプのタイプを変更を押す
 
 
 3. T4 GPU もしくは TPUを選択し、保存を押せばGPU/TPU環境が有効になる
 8 参考)GPU環境利用方法

9. 9 • いろんな部門で多数の方に分析・データ収集・処理等のPythonを実行してもらおうと考えている 人
 
 • 問題解決の処理の工数を最小限に抑えたい人
 
 • もちろん、画像処理や自然言語処理でGPU環境を使いたい人
 
 
 上記に当てはまる方は、一度Colabを使ってみてください！ 
 Colabをおすすめしたい人

10. 10 以上、Colabについて実際に使ってみてのメリット等を紹介をしていきました。
 
 日々Colabを使っていて感じるのは、紹介した利用方法以外での利用用途や、気づけていない良さ・メ リットが、まだまだ多く隠れていると思っています。
 
 Colabを使いながら引き続きデータ分析・処理等の領域でより便利かつ効率的になるよう、取り組んで いきます。
 
 
 
 
 次ページからは私たちのプロダクトと会社紹介です。 
 最後に

11. 生活の「困った」を解決できるプロが集まる プラットフォーム「くらしのマーケット」 頼める出張サービスの種類 事業者の数 300種類以上！
 70,000事業者を突破！
 エアコンクリーニング、引越し、庭木剪定..などの生活関連サービス 日本全国の事業者が登録、売上を伸ばしている 11 私たちのプロダクト

12. 正直者が馬鹿を見ない世界を作る
 テスト前に必死で勉強したのに、先輩から過去問をもらっていた友達が自分よりいい成績を取った…
 会社のことを思って地味な仕事も引き受けてきたのに、上司に気に入られている同期が昇進した…
 
 世の中では、不条理なことが起きます。
 でも、悪賢い人が得をして、正直な人が損をする世界なんて嫌です。
 
 江戸時代の思想家、石田梅岩は「二重の利を取り、甘き毒を喰ひ、自死するようなこと多かるべし」
 つまり、悪賢い者には必ず報いがあると説きました。
 さらに「実の商人は、先も立ち、我も立つことを思うなり」とも表し、
 まず相手の利害を優先し、その結果として自身も利益を得ることが商人の本文だと説きました。
 
 私たちは、先も立ち、我も立つ、正直な人が報われる世の中を作ります。
 12 私たちのビジョン

13. 「人と人」が関わるサービスを、
 安心して取引できる仕組みを提供する
 私たちは、くらしのマーケットを通じて、
 世の中のあらゆるサービスをインターネットで安心して取引できる仕組みを提供していきます。
 インターネットでモノを買う時、みんなが楽天市場やAmazonを利用するように、
 サービスを買う時は、みんながくらしのマーケットを利用してくれる…そんな世界を目指します。
 
 多くのベンチャー企業が、自社の成長をアピールしますが、いちばん重要なことは、
 その会社がその時に「どれだけ成長しているか」ではなく、その会社が今後「どこまで成長できるか」です。
 
 みんなのマーケットは巨大な市場に挑んでいます。私たちと一緒に、大きく成長していきましょう。
 13 私たちのミッション