Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
OpenTalks.AI - Александр Артеменков, Towards Sc...
Search
OpenTalks.AI
February 21, 2020
Science
0
2.1k
OpenTalks.AI - Александр Артеменков, Towards Scalable Dimensionality Reduction via Noise Contrastive Estimation
OpenTalks.AI
February 21, 2020
Tweet
Share
More Decks by OpenTalks.AI
See All by OpenTalks.AI
OpenTalks.AI - Виктор Лемпицкий, Моделирование 3Д сцен: новые подходы в 2020 году
opentalks
0
480
OpenTalks.AI - Алексей Чернявский, Нейросетевые алгоритмы для повышения качества медицинских изображений
opentalks
0
420
OpenTalks.AI - Александр Громов, Устойчивость нейросетевых моделей при анализе КТ/НДКТ-исследований
opentalks
0
370
OpenTalks.AI - Денис Тимонин, Megatron-LM: Обучение мультимиллиардных LMs при помощи техники Model Parallelism
opentalks
0
500
OpenTalks.AI - Егор Филимонов, Возможности платформы Huawei Atlas и эффективный гетерогенный инференс.
opentalks
0
140
OpenTalks.AI - Александр Прозоров, Референсная архитектура робота сервисного центра в отраслях с изменчивыми бизнес-процессами
opentalks
0
370
OpenTalks.AI - Наталья Лукашевич, Анализ тональности по отношению к компании — с чем не справился BERT
opentalks
0
330
OpenTalks.AI - Константин Воронцов, Фейковые новости и другие типы потенциально опасного дискурса: типология, подходы, датасеты, соревнования
opentalks
0
430
OpenTalks.AI - Дмитрий Ветров, Фрактальность функции потерь, эффект двойного спуска и степенные законы в глубинном обучении - фрагменты одной мозаики
opentalks
0
460
Other Decks in Science
See All in Science
機械学習 - 決定木からはじめる機械学習
trycycle
PRO
0
960
機械学習 - K-means & 階層的クラスタリング
trycycle
PRO
0
920
02_西村訓弘_プログラムディレクター_人口減少を機にひらく未来社会.pdf
sip3ristex
0
480
統計学入門講座 第1回スライド
techmathproject
0
340
ウェブ・ソーシャルメディア論文読み会 第25回: Differences in misinformation sharing can lead to politically asymmetric sanctions (Nature, 2024)
hkefka385
0
110
Explanatory material
yuki1986
0
310
2025-06-11-ai_belgium
sofievl
1
120
07_浮世満理子_アイディア高等学院学院長_一般社団法人全国心理業連合会代表理事_紹介資料.pdf
sip3ristex
0
480
MoveItを使った産業用ロボット向け動作作成方法の紹介 / Introduction to creating motion for industrial robots using MoveIt
ry0_ka
0
490
Masseyのレーティングを用いたフォーミュラレースドライバーの実績評価手法の開発 / Development of a Performance Evaluation Method for Formula Race Drivers Using Massey Ratings
konakalab
0
160
baseballrによるMLBデータの抽出と階層ベイズモデルによる打率の推定 / TokyoR118
dropout009
1
440
トラブルがあったコンペに学ぶデータ分析
tereka114
2
1.6k
Featured
See All Featured
Docker and Python
trallard
44
3.4k
A Modern Web Designer's Workflow
chriscoyier
694
190k
The Cult of Friendly URLs
andyhume
79
6.5k
GitHub's CSS Performance
jonrohan
1031
460k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
4 Signs Your Business is Dying
shpigford
184
22k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
930
Stop Working from a Prison Cell
hatefulcrawdad
270
20k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
Become a Pro
speakerdeck
PRO
28
5.4k
Transcript
Towards Scalable Dimensionality Reduction Aleksandr Artemenkov joint work with Maxim
Panov via Noise Contrastive Estimation
News Headlines Of India 3 million topics you are unfamiliar
with Kaggle Dataset
None
Just repeat 3 million times! (not a good idea)
Is there a better approach? (visualization)
None
Noise Contrastive Estimation (without a single formula) (check out the
poster for them)
Building Representation “cold” “frosty” “cold” “warm” “cold” “first” similar different
unrelated (noisy) ? ? ?
Simple Insight • similar points = closer than predefined noisy
distance • different points = further than predefined noisy distance Any benefits from such approach?
Parallelized Batch Optimization • noisy distance is predefined • repel
different points • attract similar points • adjustments are independent of each other to distinguish them from noise Meet NCVis! (Noise Contrastive Visualization) GitHub Repository
Why use NCVis? (there are reasons) Paper
None
None
Thank you for your attention! (find me near the poster)