Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Pythonエンジニアになるためのテクニカルハイライトと学習方法
Search
Manabu TERADA
December 20, 2023
Technology
0
110
Pythonエンジニアになるためのテクニカルハイライトと学習方法
「Pythonとデータ分析で初学者から中級者になるためのセミナー」
2023年12月20 日
Python EDイベント
Manabu TERADA
December 20, 2023
Tweet
Share
More Decks by Manabu TERADA
See All by Manabu TERADA
Desktop Apps Made Easy: Python Web UI Frameworks with Streamlit and Stlite
terapyon
0
24
Python実践試験、 Pythonデータ分析実践試験に 合格できるひとのレベル紹介と学習法
terapyon
0
120
各種大学向けにSSO対応サイト(SP)構築の事例紹介
terapyon
0
16
コンテンツタイプとUMLで考えるPlone開発(1)
terapyon
0
63
Python Web UIフレームワークのススメ
terapyon
0
1.1k
LLMを用いたPloneベクター検索 アドオンの開発の説明
terapyon
0
92
PyCon APACの軌跡
terapyon
0
2k
Multi lingual Vector search using LLM
terapyon
1
94
メモリプロファイラMemrayのススメ
terapyon
3
1.2k
Other Decks in Technology
See All in Technology
ABWG2024採択者が語るエンジニアとしての自分自身の見つけ方〜発信して、つながって、世界を広げていく〜
maimyyym
1
180
クラウド関連のインシデントケースを収集して見えてきたもの
lhazy
8
1.2k
Amazon Aurora のバージョンアップ手法について
smt7174
2
150
IAMのマニアックな話2025
nrinetcom
PRO
4
950
Охота на косуль у древних
ashapiro
0
110
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
19k
【Findy】「正しく」失敗できる チームの作り方 〜リアルな事例から紐解く失敗を恐れない組織とは〜 / A team that can fail correctly by findy
i35_267
5
910
Pwned Labsのすゝめ
ken5scal
2
450
開発組織を進化させる!AWSで実践するチームトポロジー
iwamot
2
400
事業モメンタムを生み出すプロダクト開発
macchiitaka
0
100
エンジニアリング価値を黒字化する バリューベース戦略を用いた 技術戦略策定の道のり
kzkmaeda
6
2.8k
【内製開発Summit 2025】イオンスマートテクノロジーの内製化組織の作り方/In-house-development-summit-AST
aeonpeople
2
690
Featured
See All Featured
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
49
2.3k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Embracing the Ebb and Flow
colly
84
4.6k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
10
1.3k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
1k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
100
18k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
Java REST API Framework Comparison - PWX 2021
mraible
29
8.4k
A Tale of Four Properties
chriscoyier
158
23k
KATA
mclloyd
29
14k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
Transcript
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. Pythonエンジニアになるためのテクニ カルハイライトと学習方法 ─Pythonを業務で使ってみよう─
一般社団法人Pythonエンジニア育成推進協会 顧問理事 寺田 学 「Pythonとデータ分析で初学者から中級者になるためのセミナー」 2023年12月20 日
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 自己紹介 寺田 学
(Manabu TERADA) • Pythonエンジニア • Podcast 「terapyon channel」(https://podcast.terapyon.net) • 主な関連書籍(共著・監修・監訳) ◦ Pythonデータ分析 実践ハンドブック(2023年,インプレス,共著) ◦ Pythonによるあたらしいデータ分析の教科書 第2版 (2022年,翔泳社,共著) ◦ Python実践レシピ(2022年,技術評論社,共著) ◦ Python FlaskによるWebアプリ開発入門 物体検知アプリ&機械学習APIの作り方 (2022年,翔泳社, 監修)
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 所属組織 • 一般社団法人Pythonエンジニア育成推進協会顧問理事
• 一般社団法人PyCon JP Association理事 • 株式会社 CMSコミュニケーションズ 代表取締役 • Python Software Foundation Fellow • Plone Foundation Ambassador
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. Python技術支援のコンサルサービス (株)CMSコミュニケーションズのサービス
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 講演の流れ • Pythonバージョンの現状
• バージョンアップで取り組んでいること • 用途別定番ライブラリ • ライブラリの具体的な利用シーン • 初学者からアプリ実装ができるようになるには
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. Pythonバージョンの現状
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. Pythonバージョン(2023年12月) Python3.12 •
Python 3.10以降を採用することが多い • 最新のPython3.11はようやく使い始めている
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. Pythonのバージョンとサポート期間 年1回リリース&5年サポート https://devguide.python.org/versions/
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. バージョン間の互換性 基本的な互換性はある •
互換性は基本的に保たれている • キーワード(予約語)追加がたまにある • 内部APIの変更はある • サードパーティ製パッケージの対応は別
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 環境構築とサードパーティ製パッケージ 方法はさまざまだが、公式をなるべく使う •
公式インストーラーがオススメ • venv + pip でほとんど可能 • 公式dockerを使うことも増えている • wheel化されたパッケージも多い
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. バージョンアップで取り組んでいること
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. バージョンアップで取り組んでいる(1) • スピードアップ
• Python 3.11から取り組んでいる • 条件によっては1.5倍早くなっている • 今後も内部実装を見直し、スピードアップに期待 • GIL関係のリファクタリング
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. バージョンアップで取り組んでいる(2) • よりコーディングしやすく
• エラーメッセージが分かりやすくなっている • 型ヒントなどで安全なコーディングができるようになる
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 用途別定番ライブラリ
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 用途別定番ライブラリ ─ 1
インストーラー・パッケージインストール • Python公式インストーラー • Dockerイメージ • venv + pip
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 用途別定番ライブラリ ─ 2
データ分析や科学技術計算 • データ型やデータ分析ツール NumPy / pandas • 科学技術計算 SciPy • 可視化ツール Matplotlib / Plotly • 機械学習ツールキット scikit-learn • ディープラーニング TensorFlow / PyTorch
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 用途別定番ライブラリ ─ 3
Webシステム • Webフレームワーク Django / Flask / FastAPI • UIフレームワーク(データ分析可視化) Streamlit / Gradio • O/Rマッパー SQLAlchemy
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 用途別定番ライブラリ ─ 4
ツール系 • Excel操作 openpyxl • HTMLスクレイピング BeautifulSoup4 • AWS操作 awscli / boto3
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 用途別定番ライブラリ ─ 5
開発系 • Webブラウザから実行 JupyterLab • 型チェック mypy • 静的リンター Flake8 → Ruff • コードフォーマッター black → Ruff
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. ライブラリの具体的な利用シーン
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 具体的な利用シーン ─ 1
ログの分析をPythonで行う • ログファイルをPythonのopen関数で読み込む • 1行の中身を分割して、リストのリストを作る • pandasで読み込み • 必要な情報だけを抽出 • 可視化やExcelファイルに書き出し • 機械学習などを用いて、異常検知
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 具体的な利用シーン ─ 1
ログの分析で使うライブラリ • 日付操作 標準ライブラリ datetime • データ分析 pandas • データ出力 openpyxl • 可視化 Matplotlib • 機械学習 scikit-learn
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 具体的な利用シーン ─ 2
定期的にCSVファイルを取得してデータ登録 • CSVファイルを取得 • データを確認してDBにデータ登録 • 完了時にメールを送信する • エラー時はアラートを送信する
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 具体的な利用シーン ─ 2
CSVファイルからデータ登録で使うライブラリ • CSVファイル 標準ライブラリ csv • DBへの登録 SQLAlchemy • メール送信 標準ライブラリ smtplib
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 具体的な利用シーン ─ 3
データ分析のPoCを試してみたい • JupyterLabで実験的に試行錯誤 • データ加工 • データの評価 • 各種Webサイトから情報取得 • 結果をWebページにする
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 具体的な利用シーン ─ 3
データ分析のPoCで使うライブラリ • JupyterLab • データ加工 pandas / NumPy • データの評価 NumPy / Matplotlib / Plotry • 各種Webサイトから情報取得 BeautifulSoup4 • Webページを作るなら Streamlit
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 初学者からアプリ実装ができるようになるに は
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 機能分割 まずは、機能を分割していこう •
アプリが実現したいことを機能分割 • 例えば ◦ データを読み込む ◦ データを加工する ◦ 画面に表示する • なるべく細かく分割する
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 機能ごとに実装 分割された機能の役割を実装する •
機能ごとに「入力」と「出力」を決める • 入力に対して、処理をコーディングする • 出力をする or データ保存などを行う • 入力をパラメータで渡さなくても良い • まずは、一つずつ機能を作る
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 機能を繋げる 機能を繋げて、アプリとしての動きを実現 •
機能を繋げて、一連の動きにする • 何かしらのキッカケで動作するようにする • キッカケの例 ◦ クリックする ◦ スクリプトの手動起動 ◦ Webリクエスト
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 動作環境の整備 どこで、どのように動作させるかを決め、環境整備 •
動作環境を決める • 例 ◦ 独自サーバー ◦ 手元のPC ◦ サーバーレス環境 ◦ Webブラウザ • Pythonが動作する環境を作る
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. アプリ実装のまとめ 一つずつ確実に! •
機能分割 • 機能ごとに実装 • 機能を繋げる • 動作環境の整備
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. ご清聴 ありがとうございました。
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 師匠 or 仲間を見つけよう
ひとりで勉強するには限界がある • 師匠を見つけよう • 仲間を見つけよう • 一緒に勉強し切磋琢磨できるとよい • 自分のやっていることに自信が持てる • カンファレンスや勉強会に積極的に参加
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. PyCon APAC 2023
約700人規模の現地イベント • https://2023.pycon.jp/ • 日程: 10/26(金)〜28(日) 開催済み • 2024も秋にPyCon JP開催予定 • 当協会はGoldスポンサー
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. Q&A