201006 connpassのイベントカレンダーから情報収集 えっちゃん

Transcript

1. #RPALT
   Connpassのイベントカレンダー
   から情報取得
   

   View Slide

2. #RPALT
   目指せ！
   手抜きワークフロー説明書
   副題
   

   View Slide

3. #RPALT
   はじめまして
   _
   「えっちゃん」と呼んで下さい。
   Excelのリンクが大好き
   特技：Excelで業務の効率化
   試薬管理：①購入依頼 ②納品管理
   ③成績書の保管、書類発行
   ④在庫管理 ⑤廃棄記録
   機器管理：100台以上の分析機器(1人で)
   一覧表で全て処理(マクロ無)
   EUC問題でマクロが禁止されたため
   リンクでの業務効率していました。
   しかし、私のリンクは複雑でマクロみた
   いと嫌われていました。
   便利にしているのに肩身の狭い思いして
   いました。
   人に使って貰っても壊れないリンクを
   追求して作成。
   潰れる原因：セルの削除と移動
   INDIRECT関数を知り、怖いものなしに！
   しかし、何それ！
   人が使わない関数を利用しないで！
   

   View Slide

4. #RPALT
   目標
   目指せ！ 手抜きワークフロー説明書
   2020/4/23
   RPA勉強＆LT会！RPALT ハンズオン支部
   

   View Slide

5. #RPALT
   対象者
   UiPathをある程度、理解している方
   次のような方には難しいです。
   変数？ セレクター？？
   Invoke って なんですかー ？
   そういう方、すみません。m(_ _)m
   繰り返し使ったことありません。
   

   View Slide

6. #RPALT
   LTで得られるもの
   セレクターの変数化
   のヒントが得られるかも？
   「データスクレイピング」を題材に
   セレクターの変数化を学びます。
   データスクレイピング の 手順
   

   View Slide

7. #RPALT
   

   View Slide

8. #RPALT
   Connpassのサイトを
   データスクレイピングしても良いのか
   

   View Slide

9. #RPALT
   Connpassのイベントカレンダーって知ってますか？
   

   View Slide

10. #RPALT
    Excel に取得 検索が可能
    年月日 都道府県 イベント名 イベントURL
    2020年10月4日 大阪府 子ども向けプログラミング道場：コーダー道場 https://coderdojo-kishiwada.connpass.com/event/189867/
    2020年10月4日 大阪府 第20回 CoderDojoとよなか（豊中 https://coderdojo-toyonaka.connpass.com/event/173368/
    2020年10月10日 大阪府 わたがしの会(もくもく会)10/10(土) https://connpass.com/event/190597/
    2020年10月11日 大阪府 [リモート&会場開催] IT osaka勉 https://web-kansai-study.connpass.com/event/189189/
    2020年10月14日 大阪府 インスタントAI「H2O-3」ではじめる機 https://connpass.com/event/178238/
    2020年10月17日 大阪府 現役フリーランス主催 関西若手エンジニア、 https://no-mount.connpass.com/event/190681/
    2020年10月24日 大阪府 勉強カフェ大阪本町もくもく会 #9 https://brightful-study.connpass.com/event/190325/
    2020年10月24日 大阪府 第64回　本町デジもく会（第15回　同時開 https://dezimoku.connpass.com/event/191127/
    2020年10月24日 大阪府 第７回大阪環状線呑み会 in 京橋 https://connpass.com/event/190874/
    2020年10月1日 オンライン 10/1(木)【第123回】オンラインもく https://no-genre-mokumoku.connpass.com/event/190707/
    2020年10月1日 オンライン 【朝活・新宿・もくもく会】#37 平日に朝 https://shinjukuasakatu.connpass.com/event/190413/
    2020年10月1日 オンライン WASDあさもく部 #6 【 React https://wasd-inc.connpass.com/event/188820/
    2020年10月1日 オンライン ビデオはオフ！寝ぼけまなこでもくもく朝会 https://itmokumoku.connpass.com/event/190501/
    2020年10月1日 オンライン OSS Gate東京ミートアップ for https://speee.connpass.com/event/190590/
    

    View Slide

11. #RPALT
    ワークフローを動作させてみましょう
    Connpassのイベントカレンダーから情報取得
    ↑ クリックで動画再生
    

    View Slide

12. #RPALT
    アクティビティ
    データスクレイピング
    やってみましょう！
    

    View Slide

13. #RPALT
    データスクレイピング
    やってみると
    

    View Slide

14. #RPALT
    

    View Slide

15. #RPALT
    

    View Slide

16. #RPALT
    同じよう表はできるが、DBじゃない。リンクもない。
    日 月 火 水 木 金 土
    1日
    41件
    ・10/1(木)【第123回】オンラインもく
    ・【朝活・新宿・もくもく会】#37 平日に朝
    ・[木 7:30 - 8:30]朝活オンライ
    ・WASDあさもく部 #6 【 React
    ・デザインもくもく朝活@オンライン（初参加も
    ・ビデオはオフ！寝ぼけまなこでもくもく朝会
    ・OSS Gate東京ミートアップ for
    ・オンラインもくもく(途中参加・退場OK)
    ・【プログラミング初心者大歓迎！】勉強モチベ
    ・10/1午前の部【オンライン開催】もくもく
    ・米国UserTesting社直伝！活きたペ
    ・最新型！D-Wave Advantage
    ・Dojo ++ :IBM Cloud Pa
    ・オンライン木曜もくもく会@みんなのバーチャ
    ・Jamstackオンラインワークショップ
    ・【第2回】2020年プログラマー向けDee
    ・10/1午後の部【オンライン開催】もくもく
    ・【日本語OK】海外エンジニアとグローバルリ
    ・Think ! FrontEnd by D
    ・SmartHR Engineer Onli
    ・AITC第10期成果発表会 1/3
    2日
    41件
    ・10/2(金)【第124回】オンラインもく
    ・【朝活・新宿・もくもく会】#36 平日に朝
    ・オンラインもくもく(途中参加・退場OK)
    ・10/2午前の部【オンライン開催】もくもく
    ・10/2(金)11時-【中小企業向け】AI
    ・Forkwell Tech Cast ―
    ・SmartNews Rain Radar
    ・（リスケ）Building Secure
    ・そーだいなるVOYAGE GROUPの裏側
    ・Laboratory Automation
    ・10/2 OSCオンライン福岡 出展者説明
    ・Extra Dojo: 量子コンピューター
    ・10/2午後の部【オンライン開催】もくもく
    ・Japan Rook Meetup #4
    ・【朝、出勤したくない？】フライデーカウンセ
    ・【日本語OK】海外エンジニアとグローバルリ
    ・ほーむぶりゅー・もばいる・くらぶ
    ・Beyond Agile vol.3 -全
    ・セキュリティ資格勉強もくもく会オンライン
    ・【オンライン】夕方半コース★ CAE向けデ
    ・【初級編】量子コンピュータの学習 onli
    3日
    64件
    ・【オンライン】もくもく作業会　～社会人エン
    ・第13回！継続は力なり！！【オンライン】か
    ・休日朝もくもく会(ビデオOFF！)
    ・第2回 スクラッチ脱初心者オンラインブート
    ・【宇部会場】Space Apps Chal
    ・【東京会場】Space Apps Chal
    ・【1日目】オンラインもくもく会
    ・【朝活・新宿・もくもく会】#32 オフライ
    ・Agile Tech EXPO - New
    ・【Fortigate】初心者ネットワーク勉
    ・【和歌山（串本）会場】Space Apps
    ・【豊橋会場】Space Apps Chal
    ・【大阪会場】NASA SpaceAppsO
    ・【渋谷】もくもく会（渋谷駅から徒歩5分）
    ・#052 DevMokuSendai（オン
    ・Saturday朝活もくもく会 * 10月
    ・第11回CoderDojo戸田公園
    ・参加費無料！気軽に交流できるもくもく会【わ
    ・コワーキングスタッフ主催　初めての人が集ま
    ・【高田馬場】ゆるもくかい#2回目
    ・Kamakura Mok Mok Hack
    4日
    41件
    ・オンラインもくもく会#56
    ・休日朝もくもく会(ビデオOFF！)
    ・READING.4 #技術書を英語で読む会
    ・【2日目】オンラインもくもく会
    ・よちよちAndroid名古屋支部 第145
    ・【Fortigate】（#ラボ1）初心者ネ
    ・子ども向けプログラミング道場：コーダー道場
    ・佐武線型代数学 輪読会 #32【オンライン
    ・個人開発者のオンラインもくもく会 Part
    ・第十八回もくもく会【CAE初心者サークル】
    ・(コピー)【】PayPal検証
    ・第20回 CoderDojoとよなか（豊中
    ・【完全初心者向け！】PHP＋MySQL超入
    ・オープンラボ
    ・【もくもく会】充実した休日にしよう♪
    ・312nd Dev Morning
    ・第3回U-16プログラミングコンテスト札幌
    ・量子ビットの接続とトポロジー
    ・【オンライン開催】LinuC（リナック）レ
    ・リファインメント検査器を作って学ぶマルチス
    ・東村出張開催・プログラミング体験会 （会場
    5日
    16件
    ・10/5(月)【第125回】オンラインもく
    ・デザインもくもく朝活@オンライン（初参加も
    ・ビデオはオフ！寝ぼけまなこでもくもく朝会
    ・【】PayPal検証
    ・AWSの基礎を学ぼう 第十五回
    ・【オンライン開催】コードが書けなくてもアプ
    ・【平日夜】メイドさんがいる定時後のIT自習
    ・オンライン・フォレンジック LT会 -
    ・JAWS-UG 初心者支部 #32 監視編
    ・[オンライン]Database Inter
    ・第14回Software Design (
    ・Serverless LT初心者向け LT
    ・Tech x Marketing meet
    ・Vue.js勉強会（オンライン）
    ・人工知能（AI）を搭載したTwitterボ
    ・ふりかえりの手法をたくさん学ぼう
    6日
    21件
    ・10/6(火)【第126回】オンラインもく
    ・Covid Vaccine Private
    ・10/6午前の部【オンライン開催】もくもく
    ・@online【国内最大規模の学生向けハッ
    ・【LINE WORKS 30分ランチ勉強会
    ・10/6午後の部【オンライン開催】もくもく
    ・【CROSS Party online 2
    ・【女性限定/オンライン】月刊フィントーク
    ・【Online開催】GCPUG Shona
    ・SmartHR Engineer Onli
    ・RPA勉強＆LT会！RPALT UiPat
    ・先輩移住者に聞く！地方でWebクリエイター
    ・Cogbot Meetup Online
    ・「プロフェッショナルIPv6」読書会(13
    ・【オンライン】30分夜活！途中入退室OK
    ・【オンライン開催！】GAN：敵対的生成ネッ
    ・Vue.js勉強会（オンライン）
    ・第14回！継続は力なり！！【オンライン】か
    ・「アジャイルと品質を語る会」
    ・Monthly AWS Serverles
    ・PyCon mini Hiroshima
    7日
    39件
    ・10/7(水)【第127回】オンラインもく
    ・10/7午前の部【オンライン開催】もくもく
    ・【AWS協賛】AWS 基礎と実例を学ぶ #
    ・10/7(水)12時-【中小企業向け】AI
    ・IBM Dojo : OpenShift入
    ・クラウド基礎セミナー
    ・セキュリティ・テストにおけるファジングの位
    ・いまデータドリブン・AIドリブン組織に必要
    ・Cybozu Tech Meetup #7
    ・LINE Developer Meetup
    ・【福岡県主催/無料】Webエンジニアの価値
    ・【@オンライン開催】OutSystems愛
    ・AI最新技術Update会10月【リアル＆
    ・ゼロからはじめるGAS講座「メルマガスタン
    ・DevRel Meetup in Toky
    ・PHPerによるPHPerのための「PHP
    ・【ヒカ★ラボ】初のオンライン開催！大手バス
    ・コロナ時代で再注目！RPAの最前線とロボッ
    ・（リモート開催）福岡ブロックチェーン勉強会
    ・Code for Toyama Cityの
    ・OnTimeをさわりつくそう会　第二十九回
    8日
    37件
    ・10/8午前の部【オンライン開催】もくもく
    ・ユーザー起点で考える顧客体験とは～見直すべ
    ・【オンライン】UXワークショップ「新規事業
    ・内製化の準備できていますか？Microso
    ・Nishiki もくもく勉強会 オンライン
    ・Champ Dojo #2 新総理ってどん
    ・【無料ウェビナー】 2020/10/8（木
    ・Webアプリの脆弱性と向き合うには-脆弱性
    ・AWSをはじめとしたクラウド環境で稼働する
    ・【第3回】2020年プログラマー向けDee
    ・10/8午後の部【オンライン開催】もくもく
    ・対話システム勉強会（第１回）
    ・【Photonオンラインハンズオン】Uni
    ・JAWS-UG CLI専門支部 #169R
    ・【FsUP vol.2】遠隔医療がもたらす
    ・MixLeap Live LT #32 -
    ・UX思考に役立つ読書会「カーム・テクノロジ
    ・RESTful WEB APIs読書会 第
    ・SmartHR Engineer Onli
    ・Jamstackオンラインワークショップ
    ・オンライン Code for Kanaza
    9日
    34件
    ・ノンプログラミングでLINEボットを作って
    ・10/9午前の部【オンライン開催】もくもく
    ・そーだいなるVOYAGE GROUPの裏側
    ・Microsoft Ignite 2020
    ・Extra Dojo: 最新のストレージ技
    ・Code Crew MYJ「Google
    ・第5回ザッピングセミナー
    ・初心者歓迎！フォトグラメトリ 勉強会#9
    ・10/9午後の部【オンライン開催】もくもく
    ・BIT_LT #11
    ・AITC 第11回総会＆総会記念講演
    ・【平日夜】メイドさんがいる定時後のIT自習
    ・自作プログラミング言語の集い
    ・基礎からAWS実践 ～初心者ワーク～
    ・Music×Analytics Meetu
    ・Mobile Act ONLINE #2
    ・AI時代のキャリアアップを考える
    ・q-tech Meeting #9 onl
    ・自然言語処理勉強会
    ・出張 kintone Café 浜松 Vo
    ・【第3回】ゼロから始めるゲノム解析（R編）
    10日
    74件
    ・【オンライン】もくもく作業会　～社会人エン
    ・English small chat (F
    ・第16回！継続は力なり！！【オンライン】か
    ・休日朝もくもく会(ビデオOFF！)
    ・CoderDojo日進 子供向けプログラミ
    ・第26回JSTQB Advanced Le
    ・CoderDojo天白　Scratch入門
    ・オンライン [Math & Coding]
    ・【Cisco】（ラボ#3）初心者ネットワー
    ・Go Conference '20 in
    ・【オンライン】はこだてIoTハッカソン
    ・#053 DevMokuSendai（オン
    ・Saturday朝活もくもく会 * 10月
    ・【ITパスポート/基本情報技術者試験もくも
    ・【無料】CoderDojo瀬戸(第46回)
    ・わたがしの会(もくもく会)10/10(土)
    ・大手町もくもく会 #3
    ・参加費無料！気軽に交流できるもくもく会【わ
    ・【高田馬場】もくもく会
    ・増枠【Web・自動化・スクレイピング編/全
    ・第69回【オンライン開催】PORTもくもく
    

    View Slide

17. #RPALT
    

    View Slide

18. #RPALT
    

    View Slide

19. #RPALT
    

    View Slide

20. #RPALT
    

    View Slide

21. #RPALT
    

    View Slide

22. #RPALT
    

    View Slide

23. #RPALT
    

    View Slide

24. #RPALT
    

    View Slide

25. #RPALT
    同様に2日のイベントデータを取得
    

    View Slide

26. #RPALT
    セレクター 内容は全く同じ
    

    View Slide

27. #RPALT
    状況を整理
    1. セレクターは同じに見える。
    2. データはキチンと日にち毎に取得出来てる。
    覚悟を決めました。
    最悪、35のカラムでセレクタを作ろう。
    

    View Slide

28. #RPALT
    2段目を調べた時に 希望が
    

    View Slide

29. #RPALT
    

    View Slide

30. #RPALT
    

    View Slide

31. #RPALT
    週 曜日 列 行 データスクレイピング１ Row表示 データスクレイピング２
    1週目 日 1 2
    1週目 月 2 2
    1週目 火 3 2
    1週目 水 4 2
    1週目 木 5 2
    1週目 金 6 2
    1週目 土 7 2
    2週目 日 1 3
    2週目 月 2 3
    2週目 火 3 3
    2週目 水 4 3
    2週目 木 5 3
    2週目 金 6 3
    2週目 土 7 3
    3週目 日 1 4
    3週目 月 2 4
    3週目 火 3 4
    3週目 水 4 4
    3週目 木 5 4
    3週目 金 6 4
    3週目 土 7 4
    4週目 日 1 5
    4週目 月 2 5
    4週目 火 3 5
    4週目 水 4 5
    4週目 木 5 5
    4週目 金 6 5
    4週目 土 7 5
    5週目 日 1 6
    5週目 月 2 6
    5週目 火 3 6
    5週目 水 4 6
    5週目 木 5 6
    5週目 金 6 6
    5週目 土 7 6
    1週目 日 1 2
    selector='body>div>div>div>div>tab
    le>tbody>tr>td>div>ul'
    parentid='contents' tableCol='
    ' tableRow=' ' tag='UL' />
    1週目 月 2 2
    selector='body>div>div>div>div>tab
    le>tbody>tr>td>div>ul'
    parentid='contents' tableCol='
    ' tableRow=' ' tag='UL' />
    1週目 火 3 2
    selector='body>div>div>div>div>tab
    le>tbody>tr>td>div>ul'
    parentid='contents' tableCol='
    ' tableRow=' ' tag='UL' />
    

    View Slide

32. #RPALT
    No. 年月日 データスクレイピング
    0 1週目-日
    1 1週目-月
    2 1週目-火
    3 1週目-水
    4 1週目-木
    5 1週目-金
    6 1週目-土
    7 1週目-日
    8 1週目-月
    9 1週目-火
    10 2週目-水
    11 2週目-木
    12 2週目-金
    13 2週目-土
    14 3週目-日
    15 3週目-月
    16 3週目-火
    17 3週目-水
    18 3週目-木
    19 3週目-金
    20 3週目-土
    21 4週目-日
    22 4週目-月
    23 4週目-火
    24 4週目-水
    25 4週目-木
    26 4週目-金
    27 4週目-土
    28 5週目-日
    29 5週目-月
    30 5週目-火
    31 5週目-水
    32 5週目-木
    33 5週目-金
    34 5週目-土
    セレクタ情報_DT
    J32
    H32 I32 K32 L32
    

    View Slide

33. #RPALT
    ここまでのまとめ
    同一画面でデータスクレイピングをする際、
    最後の方からスクレイピングをしよう。
    セレクターの情報
    ルールを見つけやすい。
    

    View Slide

34. #RPALT
    

    View Slide

35. #RPALT
    

    View Slide

36. #RPALT
    「目指せ！手抜きワークフロー説明書」が
    使えるか評価して下さる方はこちらをクリック
    

    View Slide

37. #RPALT
    ←クリックで
    URLが開く
    

    View Slide

38. #RPALT
    

    View Slide

39. #RPALT
    加工済み_invoke_カレンダーからの取り込み_アクティビティ名のまま.xlsx
    加工済み_Main_アクティビティ名のまま.xlsx
    加工済み_Main.xlsx
    加工済み_invoke_カレンダーからの取り込み.xlsx
    Excelにエクスポートしたファイル
    ファイル名のクリックでDownLoad
    

    View Slide

40. #RPALT
    ご成長ありがとうございました
    ご清聴ありがとうございました
    

    View Slide