Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
新入社員目線から学ぶエンジニアに必要なこと その2:新しいサービスを作る (必要性の理解:形...
Search
NearMeの技術発表資料です
PRO
August 16, 2023
Science
0
130
新入社員目線から学ぶエンジニアに必要なこと その2:新しいサービスを作る (必要性の理解:形態素解析+文章のベクトル化)
本当その開発が必要かどうかは、需要によっても決まります。ですので、あらかた需要があるかを確認できる可能性のあるものとして、今回は形態素解析、そして単語のベクトル化について扱います。
NearMeの技術発表資料です
PRO
August 16, 2023
Tweet
Share
More Decks by NearMeの技術発表資料です
See All by NearMeの技術発表資料です
今だからこそ入門する Server-Sent Events (SSE)
nearme_tech
PRO
3
250
ReactNative のアップグレード作業が (意外に)楽しかった話
nearme_tech
PRO
2
80
強化学習アルゴリズムPPOの改善案を考えてみた
nearme_tech
PRO
0
8
Apple Containerについて調べて触ってみた
nearme_tech
PRO
0
140
Rust 並列強化学習
nearme_tech
PRO
0
24
並列で⽣成AIにコーディングをやらせる
nearme_tech
PRO
1
150
希望休勤務を考慮したシフト作成
nearme_tech
PRO
0
40
Hub Labeling による高速経路探索
nearme_tech
PRO
0
100
Build an AI agent with Mastra
nearme_tech
PRO
0
84
Other Decks in Science
See All in Science
ttl2html (RDF/Turtle to HTML)
masao
0
110
[Paper Introduction] From Bytes to Ideas:Language Modeling with Autoregressive U-Nets
haruumiomoto
0
130
Trend Classification of InSAR Displacement Time Series Using SAE–CNN
satai
4
630
AIに仕事を奪われる 最初の医師たちへ
ikora128
0
970
Machine Learning for Materials (Challenge)
aronwalsh
0
330
Transport information Geometry: Current and Future II
lwc2017
0
200
mathematics of indirect reciprocity
yohm
1
180
動的トリートメント・レジームを推定するDynTxRegimeパッケージ
saltcooky12
0
190
データマイニング - グラフ構造の諸指標
trycycle
PRO
0
170
機械学習 - 授業概要
trycycle
PRO
0
240
統計的因果探索: 背景知識とデータにより因果仮説を探索する
sshimizu2006
4
1k
2025-06-11-ai_belgium
sofievl
1
150
Featured
See All Featured
What's in a price? How to price your products and services
michaelherold
246
12k
Bash Introduction
62gerente
615
210k
Six Lessons from altMBA
skipperchong
28
4k
How STYLIGHT went responsive
nonsquared
100
5.8k
Java REST API Framework Comparison - PWX 2021
mraible
33
8.8k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.4k
Scaling GitHub
holman
463
140k
Raft: Consensus for Rubyists
vanstee
140
7.1k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.5k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
13k
Transcript
0 新入社員目線から学ぶエンジニアに必要なこと その2:新しいサービスを作る (必要性の理解:形態素解析+文章のベクトル化) 2023-08-04 第55回NearMe技術勉強会 Asahi Kaito
1 まずは前回のJamの確認から
2 弊社でのJam(1)
3 弊社でのJam(2)
4 弊社でのJam(2) これに着目してみたい
5 どんなタスクか? 想定)元々大きなアプリがあり、そのFeatureタスク • 親 → フードデリバリーアプリ(ここは前提とする) • 子 →
まかない提供機能 *考慮する事項として考えられるもの 1. そもそも、その機能の必要性は? 2. UIのどの部分に取り入れるか? 3. 料金体系はどうするのか? …などなど
6 どんなタスクか? 想定)元々大きなアプリがあり、そのFeatureタスク • 親 → フードデリバリーアプリ(ここは前提とする) • 子 →
まかない提供機能 *考慮する事項として考えられるもの 1. そもそも、その機能の必要性は? 2. UIのどの部分に取り入れるか? 3. 料金体系はどうするのか? …などなど ここを扱います
7 どんなタスクか? *考慮する事項として考えられるもの 1. そもそも、その機能の必要性は? • どのように必要性を取得するか ◦ ユーザーからのFB →
フォームなどから ◦ SNSでのエゴサーチ → 形態素解析+文章のベクトル化で分析を行うことなど ◦ Google Mapなどでの評価 → 自分の会社の口コミチェックなど *形態素解析 → ある文章を分かち書きにして、品詞ごとに分解するもの *文章のベクトル化 → 文章を形態素に分解してベクトルとすることで、内積や距離の定義ができるので単語間の関係性を定量 的に計算することができる
8 とにかく実践だ!
9 形態素解析+文章のベクトル化 理論)どのようにして文章を解析するのか? 1. 文章のベクトル化 a. 文章を形態素という要素に分解して、ベクトル化する 俺
10 形態素解析+文章のベクトル化 理論)どのようにして文章を解析するのか? 1. 文章のベクトル化 a. 文章を形態素という要素に分解して、ベクトル化する b. あるターゲット文章とベクトルとして比較する(cos類似度など)
11 形態素解析+文章のベクトル化 理論)どのようにして文章を解析するのか? 1. 文章のベクトル化 a. 文章を形態素という要素に分解して、ベクトル化する b. あるターゲット文章とベクトルとして比較する(cos類似度でまずは簡単に処理) c.
類似度の高いものを集め(ベクトル化の利点)、 そこからデータをフィルタリングする(形態素解析の利点) [ ‘まじでこのアプリ最高。感動した。’, ‘まかないの機能とかあると良いな。’, ‘aaaaaaaaaaaaa’, ]
12 形態素解析+文章のベクトル化 理論)どのようにして文章を解析するのか? 2. 文章の分析方法 • Pythonを用いて実装 • 以下のモジュールを用いる ◦
Janome(形態素解析のメインモジュール) ◦ Word2Vec(分散表現でベクトル化する機械学習モデル) ※Colabへのリンク :https://colab.research.google.com/drive/1GsAIOmJzTsIU-56gCbg63juo5M738QI9?usp=sharing
13 形態素解析+文章のベクトル化 より実践)Twitter(X) APIを用いて、形態素解析+ベクトル化を実施してみよう • https://developer.twitter.com/ja/docs/twitter-api(X開発者プラットフォーム)
14 WordCloudで単語の頻度を可視化 実践)単語の頻度を可視化する方法 • WordCloudを用いて実装 ◦ 以下のモジュールを用いる ◦ WordCloud(単語の頻度を画像で可視化) ※Colabへのリンク(先ほどと同じ)
:https://colab.research.google.com/drive/1GsAIOmJzTsIU-56gCbg63juo5M738QI9?usp=sharing https://self-development.info/wp-content/uploads/2021/01/my.png
15 次回こそ 要件定義の作成 (どのように要件定義を書くか?)
16 参考リンク • 形態素解析 ◦ Janomeを使ってPythonで形態素解析 :https://qiita.com/charon/items/661d9a25b2233a9f8da4 • ベクトル化(ここでは分散表現) ◦
Efficient Estimation of Word Representations in Vector Space(単語の分散表現の論文) :https://arxiv.org/abs/1301.3781 ◦ Word2vecによる分散表現を可視化:https://qiita.com/g75hca/items/507a557f10d6133a699a ◦ Word2Vecを理解する:https://qiita.com/g-k/items/69afa87c73654af49d36 ◦ 感情分析でニュース記事のネガポジ度合いをスコア化する :https://qiita.com/g-k/items/e49f68d7e2fed6e300ea • WordCloud ◦ Pythonを使ってWordCloud(ワードクラウド)を作成する:リンク
17 Thank you