ノンプロ研 Python初級講座第7期卒業LT

Slide 1

Slide 1 text

Slide 2

Slide 2 text

2 自己紹介中野ヤスオ（S49生）兵庫県出身／千葉県市川市在住／3児の父  ＡＲアドバンストテクノロジ株式会社（ＡＲＩ）取締役専務執行役員  Twitter/note/Qiita/Insta：@yasuoyasuo  ノンプロ研は今年10月より。 Python初心者講座#7受講中 ume先生最高！  美味しいものを食べるのが大好き

Slide 3

Slide 3 text

3 この3か月間にノンプロ研で得たアウトプット機会 1. アドベントカレンダー 2. 年末BTにおけるLT 3. 卒業LT ？

Slide 4

Slide 4 text

4 卒業制作のテーマおすすめ記事シェア作業の効率化

Slide 5

Slide 5 text

5 おすすめ記事シェア作業とは？（１）平日 ITスキル＆キャリアアップに役立つ最新情報を毎日3本厳選してChatworkでお届け

Slide 6

Slide 6 text

6 おすすめ記事シェア作業とは？（２）週末毎週末に1週間分のおすすめ記事まとめnote公開中良かったらマガジンフォローしてね♥ https://note.com/yasuoyasuo/m/mf8872bd8975c

Slide 7

Slide 7 text

7 おすすめ記事シェア作業とは？（参考）週末note記事① • 週15本は2020年11月頃から • 現在56本（マガジン化） • 実は微妙に書き方も変化  自分なりに継続的最適化  noteの仕様変更 https://note.com/yasuoyasuo/m/mf8872bd8975c

Slide 8

Slide 8 text

8 おすすめ記事シェア作業とは？（参考）週末note記事② カテゴリ分け（中野の主観）毎週基本15本（祝日等もあり不規則）タイトルコメントリッチリンクカテゴリ記事以外のコンテンツも含まれている

Slide 9

Slide 9 text

9 現状の課題（１）日々のデータ登録が面倒くさい • スプレッドシートに記事情報を日々記載 • スプレッドを元にChatwork に定時投稿するGASを用意 • スプレッドシートに記載するのが面倒くさい • GASの処理が結構不安定（自分の設計が悪いせい乙）一応仕組み化してみたものの・・・

Slide 10

Slide 10 text

10 現状の課題（２）おすすめ記事がDB化出来ていない • 日々データを元にベーステキストを出力するGAS用意 • テキストを編集してnote化 • note化の際にカテゴリ分けしたり、コメントを修正、一部記事を追加変更も • 結局noteが正の状態になり記事の一覧DBが存在しない Note作成時に直接追記修正基本は日々の情報を元にしつつも・・・一応仕組み化したものの・・・

Slide 11

Slide 11 text

11 課題解決の方向性日々のデータ登録が面倒くさいおすすめ記事がDB化出来ていない「はてブ」を活用＆シェアツールスクレイピング＆データ処理＆API利用記事一覧化ツールスクレイピング＆データ処理＆API利用

Slide 12

Slide 12 text

12 卒業作品その1：はてブで自分のブックマークのうち特定タグのものをChatworkに通知する Chatwork Excel はてなブックマーク作品その 1 • はてブの特定タグのものについて、その記事情報とコメントをChatworkの情報共有専用グループに通知 • 同時にローカルにもアーカイブ情報としてExcelファイル形式で保存

Slide 13

Slide 13 text

13 卒業作品その1：Pythonコード苦労した点 • スクレイピング作業の本質の理解 • 対象コンテンツのDOM構造を理解する • BeautifulSoupの理解 • 戻り値はTagだった！ →つまり • 階層をたどれる • 戻り値にfindや find_allをかけれる

Slide 14

Slide 14 text

14 卒業作品その2：マガジンにひもづくnoteをスクレイピングし紹介記事情報をCSV化する CSV note 作品その 2 • Noteの特定マガジンにひもづくnote記事を取得 • 各note記事で紹介されている記事を一覧化してファイルに吐き出す • カテゴリごとのランキング • この一覧自体の共有

Slide 15

Slide 15 text

15 卒業作品その2：Pythonコード（1/4）【苦労した点】 • スクレイピング作業の本質の理解 • 対象コンテンツのDOM構造を理解する • BeautifulSoupの理解 • 戻り値はTagだった！ →つまり • 階層をたどれる • 戻り値にfindや find_allをかけれる

Slide 16

Slide 16 text

16 卒業作品その2：Pythonコード（2/4）【苦労した点】 • 構造化されていないデータの対応 • ルールがなければスクレイピングできない • 「自分の適当さ」との闘い

Slide 17

Slide 17 text

17 卒業作品その2：Pythonコード（3/4）【苦労した点】 • note固有のタグ構造 • 特にリッチリンク（埋め込み型）部分の DOM解析

Slide 18

Slide 18 text

18 卒業作品その2：Pythonコード（4/4）【苦労した点】 • 「もっとみる」の対応 • 表示ページの出力仕様変更の影響 • 「タイル」から変えたら出力不可に…

Slide 19

Slide 19 text

19 まだまだ直したいところがある作れば作るほどやりたいことが増えてきた年末年始はPython一色だった

Slide 20

Slide 20 text

20 今回のプログラムに参加させていただくきっかけ「学ぶ」ということを学びたい

Slide 21

Slide 21 text

21 感じたこと「知っている」と「やったことがある」の解像度の違い「スクレイピング」で止まるか「BeautifulSoup」までやるか

Slide 22

Slide 22 text

22 感じたこときっかけさえあれば学ぶ材料は山ほどある Google先生の偉大さを改めて知る

Slide 23

Slide 23 text

23 感じたこと「講義」以外の時間が勝負種まきと熟成の違いか

Slide 24

Slide 24 text

24 感じたこと会えない時間が「愛」を育てる郷ひろみ？

Slide 25

Slide 25 text

25 感じたことついつい教え過ぎてしまう伝え過ぎてしまう「エゴ」との闘いその話は誰のためなのか？

Slide 26

Slide 26 text

26 感じたこと「余白」をどう設計するか？指示に従う部分と自分がマネージできる部分とのバランス

Slide 27

Slide 27 text

27 魚そのものではなく、魚の釣り方を学ぶことに投資したい中長期的に資産となる習慣や考え方を身に付けてもらいたい和田卓人（@t_wada）氏ソフトウェアエンジニアとしての姿勢と心構え / Software Engineer‘s Survival Guide より

Slide 28

Slide 28 text

28 でも・・・単純に楽しかった！知らないことを知る喜びは尽きない

Slide 29

Slide 29 text

29 謝辞 Umeさん Kudouさんカワムラさんありがとうございました！こんなに手厚いと思ってなかったです