HackAdvices-AzMl.pdf

Transcript

1. Что нужно знать про Azure Machine Learning на хакатоне…
3. AI / Machine Learning on Azure Domain specific pretrained models To reduce time to market Azure Databricks Machine Learning VMs Popular frameworks To build advanced deep learning solutions TensorFlow Pytorch Onnx Azure Machine Learning Language Speech … Search Vision Productive services To empower data science and development teams Powerful infrastructure To accelerate deep learning Scikit-Learn PyCharm Jupyter Familiar Data Science tools To simplify model development Visual Studio Code Command line CPU GPU FPGA From the Intelligent Cloud to the Intelligent Edge
4. http://aka.ms/whyaznb http://aka.ms/codespaces http://aka.ms/azmlstarter
5. • Сетевые ограничения • Ресурсы Azure, GitHub, … • Нет бесплатного GPU http://bit.do/whyaznb
6. DSVM Data Science Virtual Machine Контроль над виртуальным железом CPU/GPU/… Предустановленное ПО (TF/CNTK, PyCharm, Anaconda, Jupyter, Az Storage Explorer, …) 2 мин на старт/остановку Windows / Linux
7. Azure Notebook
10. Azure Machine Learning – http://aka.ms/azml Как начать с Azure ML и VS Code http://aka.ms/azmlstarter Как оптимизировать гиперпараметры http://aka.ms/azml_hyper Как тренировать GAN http://aka.ms/azml_gan
11. Azure ML Workspace: контейнер для всего Azure ML Workspace включает в себя: 1. Storage 2. Datasets 3. Compute 4. Notebooks 5. Experiment Results 6. Models 7. Deployments Подключение к Workspace (DOCS) from azureml.core import Workspace ws = Workspace.from_config()
12. Проведение экспериментов • Запуск эксперимента где угодно с логированием результата • Запуск эксперимента на кластере • Запуск эксперимента на локальной машине или DSVM в контейнере Azure ML Workspace Jupyter Azure ML Workspace Compute Azure ML Workspace Jupyter/ VS Code Compute
13. Логирование результатов эксперимента Самый простой способ: запускать эксперимент где угодно, и добавить в него logging: from azureml.core import Experiment exp = Experiment(workspace=ws, name='test_experiment’) run = exp.start_logging() … run.log('Test Loss’, loss) run.log('Accuracy’, acc) Логирование откуда угодно (DOCS)
14. Оптимизация гиперпараметров «вручную» 1. Организуем цикл перебора гиперпараметров 2. Для каждого набора параметров создаём эксперимент, обучаем модель и логируем параметры и результаты 3. Анализируем результат на Azure ML Portal
15. Продвинутые возможности Azure ML: Coming Soon 1. Как запускать обучение на кластере 2. Как использовать Hyperdrive для перебора гиперпараметров 3. Как создавать Azure ML Workspace 4. Datastore vs. Dataset 5. Возможности для начинающих: AutoML и Designer 6. …
16. http://soshnikov.com http://vk.com/shwars dmitryso@microsoft.com