Алгоритм Swivel и его применения

Константин Славнов (source{d}, Junior Engineer, Machine Learning) @ Moscow Python Meetup 57

"Я расскажу вам о популярном методе построения векторных представлений для элементов последовательности, например, для слов в тексте.
Такие методы применяются в машинном обучении для того, чтобы облегчить работу с категориальными признаками, коими являются, например, слова, вершины графа или любое неупорядоченное множество элементов. Для предобработки такого рода данных используются специальные методы вложения в непрерывное векторное пространство. Я расскажу об одном из таких методов Swivel, продемонстрирую как применять его в текстовых и графовых задачах, а так же расскажу как подобный подход можно применять к анализу исходного кода языка Python".
Видео: http://www.moscowpython.ru/meetup/57/swivel-algo/

Transcript

1. Алгоритм Swivel и его приложения Константин Славнов, source{d}
2. Категориальные признаки Любые признаки без порядка. Как с ними работать? Города, страны Тексты Графы • ...
3. Кодируем! • One-hot-encoding • Хэширование • Кодирование вещественным признаком
4. One-hot-encoding ⇒ ⇒ ⇒ [ 1, 0, 0 ] [ 0, 1, 0 ] [ 0, 0, 1 ]
5. One-hot-encoding ⇒ ⇒ ⇒ [ 1, 0, 0 ] [ 0, 1, 0 ] [ 0, 0, 1 ] ⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ 2 0.5 1 0.75 3 0.9 ⋮ ⋮ ⋮ 5 0.2 ⎤ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⟹ ⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ 1 0 0 2 0.5 0 1 0 1 0.75 0 1 0 3 0.9 ⋮ ⋮ ⋮ ⋮ ⋮ 0 0 1 5 0.2 ⎤ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦
6. Хеширование ⇒ [ 1, 1] ⇒ [ 0,-1] ⇒ [ 0, 1] ⇒ [-1, 1] ⇒ [ 2, 0] aka the hashing trick
7. Хеширование в sklearn from sklearn.feature_extraction import FeatureHasher fruits = ["cherry", "peach", "apple", "grapes", "strawberry"] hasher = FeatureHasher(n_features=2, input_type="string") hasher.transform(fruits)
8. Кодирование вещественным признаком ⇒ 250 ⇒ 150 ⇒ 100
9. Кодирование вещественным признаком ⇒ 250 ⇒ 150 ⇒ 100 ⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ 2 0.5 1 0.75 3 0.9 ⋮ ⋮ ⋮ 5 0.2 ⎤ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ 250 100 200 ⋮ 100 ⎤ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⟹ ⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ 250 2 0.5 150 1 0.75 150 3 0.9 ⋮ ⋮ ⋮ 100 5 0.2 ⎤ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ 250 100 200 ⋮ 100 ⎤ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦
10. Итог ☑ Быстро ☑ С любыми признаками ❌ Не конструктивно Если у признака есть структура — ее можно использовать.
11. tensorflow fa-floppy-oat unaligned vector ttypes types const unaligned vec int unaligned vector ttypes types int const unaligned vec example statistics norm normalized squared regularizations regularizations status initialize construction kernel opkernel context error iferror return tfreturn context attr get symmetric error iferror return tfreturn context attr get symmetric shrinkage symmetric symmetric status shrink weight shrinked std max std abs weight shrinkage shrinked std copysign shrinked weight eigen tensor eigen major row eigen shrink eigen tensor eigen major row weights weights sign weights abs weights constant shrinkage cwise max weights constant shrinkage cwise max weights constant symmetric symmetric symmetric symmetric shrinkage and assign copy disallow tfdisallow regularizations model weights example example statistics and compute example norm weighted wxand num partitions model weights model weights regularizations regularization example label example label example weight example weight norm squared norm squared features sparse std ptr unique int unaligned vector indices std ptr unique float unaligned vector values std vector features sparse features sparse dense vector eigen map tensor eigen tensor eigen major row row eigen map tensor eigen tensor eigen major row data matrix data index row data matrix dimension data matrix dimension ttypes types const matrix data matrix int index row std vector std ptr unique dense vector dense vectors example label example weight norm squared examples model weights model weights model weights delta update weights eigen device pool thread device example example bounded delta dual normalized sparse weights size example features sparse features sparse example features sparse feature weights feature weights sparse weights int features sparse indices size feature value features sparse values features sparse values feature weights deltas features sparse indices feature value bounded delta dual normalized dense weights size example dense vector dense vector example dense vectors ttypes types vec deltas dense weights deltas deltas device device deltas dense vector row deltas constant bounded delta dual normalized status initialize context kernel opkernel context input list opinput inputs sparse weights error iferror return tfreturn context input list inputs sparse weights input list opinput dense inputs weights error iferror return tfreturn context input list dense inputs weights list opoutput output outputs sparse weights error iferror return tfreturn context list output outputs sparse weights list opoutput output dense outputs weights error iferror return tfreturn context list output dense outputs weights intialize weights input list opinput inputs weight list opoutput output outputs weight std vector feature weights feature weights inputs weight size tensor delta outputs weight allocate inputs weight shape delta deltas delta flat deltas set zero feature weights back emplace feature weights inputs weight flat deltas intialize weights inputs sparse weights outputs sparse weights sparse weights intialize weights dense inputs weights dense outputs weights dense weights status feature weights ttypes types vec nominals ttypes types vec deltas std vector feature weights sparse weights std vector feature weights dense weights example and assign copy disallow tfdisallow model weights example statistics example and compute example norm weighted wxand num partitions model weights model weights regularizations regularization example statistics result result norm normalized squared norm squared regularization symmetric features sparse size example features sparse features sparse features sparse model weights feature weights sparse weights model weights sparse weights int features sparse indices size int feature index features sparse indices feature value features sparse values features sparse values feature weight sparse weights nominals feature index sparse weights deltas feature index num partitions result feature value regularization shrink feature weight dense vectors size example dense vector dense vector dense vectors model weights feature weights dense weights model weights dense weights eigen tensor eigen major row feature weights dense weights nominals dense weights deltas dense weights deltas constant num partitions eigen tensor eigen major row prediction dense vector row regularization eigen shrink feature weights sum result prediction result examples examples example example example index examples example index examples num examples size features num features num status initialize context kernel opkernel context features num sparse features num sparse values with dense features num features num features num sparse dense features num input list opinput example indices inputs sparse error iferror return tfreturn context input list example indices inputs sparse input list opinput feature indices inputs sparse error iferror return tfreturn context input list feature indices inputs sparse input list opinput feature inputs sparse values features num sparse values with error iferror return tfreturn context input list feature inputs sparse values tensor example weights error iferror return tfreturn context input example weights example weights example weights flat examples num example weights size tensor example labels error iferror return tfreturn context input example labels example labels example labels flat input list Векторные вложения
12. Вложение в векторное пространство "apple" ⇔ V 1 "peach" ⇔ V 2 "cat" ⇔ V 3 similarity(V 1 , V 2 ) < similarity(V 1 , V 3 )
13. Вложение в векторное пространство "apple" ⇔ V 1 "peach" ⇔ V 2 "cat" ⇔ V 3 similarity(V 1 , V 2 ) = V 1 ⊤ V 2
14. Как оценить ? V i ⊤ V j
15. Контекст — слово Пример: "Слова — это всего лишь слова." Ширина контекста — 1. слова это всего лишь слова это всего лишь
16. Контекст — слово Пример: "Слова — это всего лишь слова." слова это всего лишь слова это всего лишь
17. Контекст — слово Пример: "Слова — это всего лишь слова." слова это всего лишь слова это всего лишь
18. Контекст — слово Пример: "Слова — это всего лишь слова." слова это всего лишь слова это всего лишь
19. Контекст — слово Пример: "Слова — это всего лишь слова." слова это всего лишь слова это всего лишь
20. Контекст — слово Пример: "Слова — это всего лишь слова." слова это всего лишь слова это всего лишь
21. Как оценить ? Пример: "Слова — это всего лишь слова." V i ⊤ V j Vi ⊤ Vj = PMI(A)ij слова это всего лишь слова это всего лишь
22. Как оценить ? Pointwise mutual information: V i ⊤ V j PMI(x; y) ≡ log . p(x, y) p(x) p(y) слова это всего лишь слова это всего лишь
23. Как оценить ? Pointwise mutual information: V i ⊤ V j PMI(x; y) ≡ log . x = это y = лишь = = 0. p(x, y) p(x) p(y) p(это, лишь) p(это) p(лишь) 0 1/4 ⋅ 1/4 слова это всего лишь слова это всего лишь
24. Как оценить ? Pointwise mutual information: V i ⊤ V j PMI(x; y) ≡ log . x = это y = всего = = 2. p(x, y) p(x) p(y) p(это, всего) p(это) p(всего) 1/8 1/4 ⋅ 1/4 слова это всего лишь слова это всего лишь
25. V i ⊤ V j ≈ log p(x, y) p(x) p(y)
26. Итого • Снижает размерность данных. • Похожий контекст — похожие вектора. • Логический вывод: . V (девушка) − V (парень) ≃ V (королева) − V (король)
27. Быстро. Мощно.
28. Примеры моделей • Word2vec — Статья на ArXiV, fastText. • GloVe — Статья, реализация. • Swivel — Статья на ArXiV, реализация на tensorflow, наш форк.
29. Swivel ✅ Работает с матрицей слово-контекст ✅ Масштабируется с размером словаря ✅ Горизонтально масштабируется (GPUs & nodes)
30. Swivel sharding
31. Swivel sharding
32. Анализируем код
33. Id2Vec Строим векторное представление для идентификаторов в коде. Как построить матрицу слово-контекст ? Aij
34. class Database: def connect(self, user, password, host, port): self._tcp_socket_connect(host, port) try: self._authenticate(user, password) except AuthenticationError as e: self.socket.close() raise e from None 01. 02. 03. 04. 05. 06. 07. 08.
35. Предобработка _tcp_socket_connect -> [tcp, socket, connect] AuthenticationError -> [authentication, error] authentication, authenticate -> authenticate 01. 02. 03.
36. class Database: def connect(self, user, password, host, port): self._tcp_socket_connect(host, port) try: self._authenticate(user, password) except AuthenticationError as e: self.socket.close() raise e from None database, connect , user , password , host , port , tcp, socket , authenticate , error, close 01. 02. 03. 04. 05. 06. 07. 08. >>> 2 2 2 2 2 2 2
37. class Database: def connect(self, user, password, host, port): self._tcp_socket_connect(host, port) try: self._authenticate(user, password) except AuthenticationError as e: self.socket.close() raise e from None connect , user , password , host , port , tcp, socket , authenticate , error, close 01. 02. 03. 04. 05. 06. 07. 08. >>> 2 2 2 2 2 2 2
38. class Database: def connect(self, user, password, host, port): self._tcp_socket_connect(host, port) try: self._authenticate(user, password) except AuthenticationError as e: self.socket.close() raise e from None connect, user, password, host, port 01. 02. 03. 04. 05. 06. 07. 08. >>>
39. class Database: def connect(self, user, password, host, port): self._tcp_socket_connect(host, port) try: self._authenticate(user, password) except AuthenticationError as e: self.socket.close() raise e from None tcp, socket, connect, host, port 01. 02. 03. 04. 05. 06. 07. 08. >>>
40. class Database: def connect(self, user, password, host, port): self._tcp_socket_connect(host, port) try: self._authenticate(user, password) except AuthenticationError as e: self.socket.close() raise e from None authenticate , user, password, error, socket, close 01. 02. 03. 04. 05. 06. 07. 08. >>> 2
41. class Database: def connect(self, user, password, host, port): self._tcp_socket_connect(host, port) try: self._authenticate(user, password) except AuthenticationError as e: self.socket.close() raise e from None authenticate, user, password 01. 02. 03. 04. 05. 06. 07. 08. >>>
42. class Database: def connect(self, user, password, host, port): self._tcp_socket_connect(host, port) try: self._authenticate(user, password) except AuthenticationError as e: self.socket.close() raise e from None authenticate, error, socket, close 01. 02. 03. 04. 05. 06. 07. 08. >>>
43. class Database: def connect(self, user, password, host, port): self._tcp_socket_connect(host, port) try: self._authenticate(user, password) except AuthenticationError as e: self.socket.close() raise e from None authenticate, error 01. 02. 03. 04. 05. 06. 07. 08. >>>
44. class Database: def connect(self, user, password, host, port): self._tcp_socket_connect(host, port) try: self._authenticate(user, password) except AuthenticationError as e: self.socket.close() raise e from None socket, close 01. 02. 03. 04. 05. 06. 07. 08. >>>
45. connect host port tcp error database close password user socket authenticate
46. connect host port tcp error database close password user socket authenticate
47. connect host port tcp error database close password user socket authenticate
48. connect host port tcp error database close password user socket authenticate
49. connect host port tcp error database close password user socket authenticate
50. connect host port tcp error database close password user socket authenticate
51. connect host port tcp error database close password user socket authenticate
52. connect host port tcp error database close password user socket authenticate
53. connect host port tcp error database close password user socket authenticate
54. connect host port tcp error database close password user socket authenticate
55. Id2Vec Строим векторное представление для идентификаторов в коде. Как построить матрицу слово-контекст ? количество раз когда и встретились вместе  Aij Aij = i j
56. Id2Vec Строим векторное представление для идентификаторов в коде. Как построить матрицу слово-контекст ? количество раз когда и встретились вместе  Aij Aij = i j Vi ⊤ Vj ≈ P M Iij = log Aij ∑ Aij ∑ N k=1 Aik ∑ N k=1 Ajk
57. Результаты
58. afoo qux myfoo baz mfoo wibble dofoo quux dfoo testing ifoo Ближайшие имена к “foo”
59. Логический вывод V (bug) − V (test) + V (expect) ≈ V (suppress) V (database) − V (query) + V (tune) ≈ V (settings) V (send) − V (receive) + V (pop) ≈ V (push)
60. Очепятки • • • V (recieve) ≈ V (receive) V (grey) ≈ V (gray) V (calback) ≈ V (callbak) ≈ V (callback)
61. Id2vec Реализация доступна на Github. $ python3 -m sourced.ml repo2coocc ... $ python3 -m sourced.ml id2vec-preproc ... $ python3 -m sourced.ml id2vec-train ... 01. 02. 03.
62. Разбиение кода на сниппеты
63. Разбиение кода на сниппеты import numpy as np seed = 42 np.random.seed(seed) print(np.random.randint(10)) from sklearn.cluster import KMeans X = np.array([[1, 2], [1, 4]]) kmeans = KMeans(2).fit(X) print(kmeans.labels_) 01. 02. 03. 04. 05. 06. 07. 08.
64. Разбиение кода на сниппеты import numpy as np seed = 42 np.random.seed(seed) print(np.random.randint(10)) from sklearn.cluster import KMeans X = np.array([[1, 2], [1, 4]]) kmeans = KMeans(2).fit(X) print(kmeans.labels_) 01. 02. 03. 04. 05. 06. 07. 08.
65. Разбиение кода на сниппеты import numpy as np seed = 42 np.random.seed(seed) print(np.random.randint(10)) from sklearn.cluster import KMeans X = np.array([[1, 2], [1, 4]]) kmeans = KMeans(2).fit(X) print(kmeans.labels_) 01. 02. 03. 04. 05. 06. 07. 08.
66. Разбиение кода на сниппеты import numpy as np seed = 42 np.random.seed(seed) print(np.random.randint(10)) from sklearn.cluster import KMeans X = np.array([[1, 2], [1, 4]]) kmeans = KMeans(2).fit(X) print(kmeans.labels_) 01. 02. 03. 04. 05. 06. 07. 08.
67. Разбиение кода на сниппеты import numpy as np seed = 42 np.random.seed(seed) print(np.random.randint(10)) from sklearn.cluster import KMeans X = np.array([[1, 2], [1, 4]]) kmeans = KMeans(2).fit(X) print(kmeans.labels_) 01. 02. 03. 04. 05. 06. 07. 08.
68. Разбиение кода на сниппеты import numpy as np seed = 42 np.random.seed(seed) print(np.random.randint(10)) from sklearn.cluster import KMeans X = np.array([[1, 2], [1, 4]]) kmeans = KMeans(2).fit(X) print(kmeans.labels_) 01. 02. 03. 04. 05. 06. 07. 08.
69. Разбиение кода на сниппеты import numpy as np seed = 42 np.random.seed(seed) print(np.random.randint(10)) from sklearn.cluster import KMeans X = np.array([[1, 2], [1, 4]]) kmeans = KMeans(2).fit(X) print(kmeans.labels_) 01. 02. 03. 04. 05. 06. 07. 08.
70. Пример Python Data Science Handbook - Linear Regression.
71. import matplotlib.pyplot as plt import seaborn as sns; sns.set() import numpy as np rng = np.random.RandomState(1) x = 10 * rng.rand(50) y = 2 * x - 5 + rng.randn(50) plt.scatter(x, y); from sklearn.linear_model import LinearRegression model = LinearRegression(fit_intercept=True) model.fit(x[:, np.newaxis], y) xfit = np.linspace(0, 10, 1000) yfit = model.predict(xfit[:, np.newaxis]) 01. 02. 03. 04. 05. 06. 07. 08. 09. 10. 11. 12.
72. import matplotlib.pyplot as plt import seaborn as sns; sns.set() import numpy as np rng = np.random.RandomState(1) x = 10 * rng.rand(50) y = 2 * x - 5 + rng.randn(50) plt.scatter(x, y); from sklearn.linear_model import LinearRegression model = LinearRegression(fit_intercept=True) model.fit(x[:, np.newaxis], y) xfit = np.linspace(0, 10, 1000) yfit = model.predict(xfit[:, np.newaxis]) 01. 02. 03. 04. 05. 06. 07. 08. 09. 10. 11. 12.
73. TL; DR • Взять задачу • Построить матрицу слово-контекст • Запустить Swivel • ??? • PROFIT!
74. Конец  konstantin@sourced.tech  kslavnov  zurk  blog.sourced.tech  Awesome #MLonCode Презентация: zurk.github.io/moscow-python-06-2018
75. Матричная факторизация