Андрей Усов (Kaspersky Lab) - Работаем с Bash на распределенных системах

Доклад с конференции Moscow Python Conf 2016 (http://conf.python.ru)
Видео: https://conf.python.ru/rabotaem-s-bash-na-raspredelennyh-sistemah/

В процессе автоматизации с использованием Python в Linux-среде очень часто возникает необходимость использовать Bash.
Если мы вызываем простые команды без потребности ввода данных, то проблем не возникает. Но в более сложных сценариях, например при автоматизации тестирования собственного интерактивного консольного приложения, требуется уметь вводить данные в зависимости от вывода. Задача усложняется, если система распределенная и используется доступ по SSH к удаленным хостам.
В докладе я хочу рассказать на реальных примерах о тех проблемах, с которыми мы столкнулись при работе с Bash, и о том, как мы эти проблемы решали. В интернете достаточно много информации о работе с Bash, но она разбросана и не систематизирована. Я же попытался собрать все это воедино и надеюсь, что это упростит жизнь тем, кто столкнется с похожими задачами.
Доклад будет интересен в основном тем, кто использует Python для внутренних целей, например для автоматизации тестирования или других процессов разработки.

Transcript

2. Работаем с Bash на распределенных системах (в Python) Усов Андрей usovand@gmail.com
3. О себе • Тестирую • Пишу автотесты на Python • Разрабатываю утилиты для автоматизации 3
4. Проект
5. Распределенное приложение • Industrial CyberSecurity • Сервер и несколько клиентов • Linux 5
6. Задачи автоматизации • Запуск консольных приложений • Работа с файлами 6
7. Получаем список файлов в директории Простой путь
8. Локально - subprocess import shlex from subprocess import Popen, PIPE p = Popen(shlex.split( 'ls -1 /home/user' ), stdout=PIPE, stderr=PIPE) stdout, stderr = p.communicate() 01. 02. 03. 04. 8
9. Локально - subprocess print stdout > file1 > file2 > ... 9
10. Удаленно - paramiko from paramiko import SSHClient, AutoAddPolicy client = SSHClient() client.set_missing_host_key_policy(AutoAddPolicy()) client.connect(hostname='192.168.0.2', username='user', password='password') 01. 02. 03. 04. 10
11. Удаленно - paramiko from paramiko import SSHClient, AutoAddPolicy client = SSHClient() client.set_missing_host_key_policy(AutoAddPolicy()) client.connect(hostname='192.168.0.2', username='user', password='password') 01. 02. 03. 04. 11
12. Удаленно - paramiko stdin, stdout, stderr = client.exec_command( 'ls -1 /home/user' ) print stdout.read() > file1 > file2 > ... 01. 02. 12
13. Проблемы
14. Проблемы • Необходимость использовать sudo • Работать в режиме "вопрос-ответ" 14
15. Пример 1 ./my_script > Принять лицензионное соглашение (yes/no)?: да > Вы ввели чушь > Принять лицензионное соглашение (yes/no)?: yes > ... 15
16. Пример 2 sudo./my_script > [sudo] password for user: > ... 16
17. Случай 1 Только sudo
18. Чего мы хотим? • Работать под пользователем (локально, удаленно) • Использовать sudo для простых команд (без интерактивности) 18
19. Чего мы не хотим? • Использовать root • Делать sudo без пароля 19
20. Локально - subprocess import shlex from subprocess import Popen, PIPE p = Popen(shlex.split( 'sudo -S ls -l /root' ), stdout=PIPE, stderr=PIPE, stdin=PIPE) stdout, stderr = p.communicate('password\n') 01. 02. 03. 04. 20
21. Локально - subprocess import shlex from subprocess import Popen, PIPE p = Popen(shlex.split(' sudo -S ls -l /root'), stdout=PIPE, stderr=PIPE, stdin=PIPE ) stdout, stderr = p.communicate( 'password\n' ) 01. 02. 03. 04. 21
22. Локально - subprocess print stdout > root_file1 > root_file2 > ... 22
23. Удаленно - paramiko (подключаемся) from paramiko import SSHClient, AutoAddPolicy client = SSHClient() client.set_missing_host_key_policy(AutoAddPolicy()) client.connect(hostname='192.168.0.2', username='user', password='password') 01. 02. 03. 04. 23
24. Пользуемся объектом Channel channel = client.get_transport().open_session() channel.get_pty() channel.exec_command( 'sudo ls -l /root' ) 01. 02. 03. 24
25. Ждем буфер in_buffer = channel.in_buffer # тут возможно придется подождать if in_buffer.read_ready(): print in_buffer.empty() > [sudo] password for user: 01. 02. 03. 04. 25
26. Отправляем пароль channel.send('password\n') # получаем код выхода exit_status = channel.recv_exit_status() if in_buffer.read_ready(): result = in_buffer.empty() 01. 02. 03. 04. 05. 26
27. Получаем результат print result > root_file1 > root_file2 > ... 27
28. Случай 2 Интерактив
29. Чего мы хотим? • Получать данные и вводить данные • Пример: выполнение под sudo с вводом неправильного пароля 29
30. Локально - pexpect from pexpect import spawn, EOF child = spawn( 'sudo ls -1 /root' ) child.expect('.*password*') print child.before + child.after + child.buffer > [sudo] password for user: 01. 02. 03. 04. 30
31. Правильный пароль child.sendline('password') res = child.expect([EOF, '.*password*']) if res == 0: print child.before > root_file1... 01. 02. 03. 04. 31
32. Неправильный пароль if res == 1: child.sendline('good_password') child.expect(EOF) print child.before > root_file1... 01. 02. 03. 04. 32
33. Минусы • Сложно с работать с выходными данными • Только локально • Регулярные выражения 33
34. Удаленно - paramiko (подключаемся) from paramiko import SSHClient, AutoAddPolicy client = SSHClient() client.set_missing_host_key_policy(AutoAddPolicy()) client.connect(hostname='192.168.0.2', username='user', password='password') 01. 02. 03. 04. 34
35. Пользуемся объектом Channel channel = client.get_transport().open_session() channel.get_pty() channel.exec_command( 'sudo ls -l /root' ) 01. 02. 03. 35
36. Ждем буфер in_buffer = channel.in_buffer # тут возможно придется подождать if in_buffer.read_ready(): print in_buffer.empty() > [sudo] password for user: 01. 02. 03. 04. 36
37. Отправляем плохой пароль channel.send('bad_password\n') if in_buffer.read_ready(): print in_buffer.empty() > Sorry, try again... 01. 02. 03. 37
38. Отправляем правильный пароль channel.send('good_password\n') # получаем код выхода exit_status = channel.recv_exit_status() if in_buffer.read_ready(): result = in_buffer.empty() 01. 02. 03. 04. 05. 38
39. Получаем результат print result > root_file1 > root_file2 > ... 39
40. В итоге • Научились выполнять команды под sudo локально и удаленно • Освоили интерактивность 40
41. Демо скрипты https://github.com/usovand/moscow-python-conf-2016 Скоро... 41
42. Вопросы? Усов Андрей https://ru.linkedin.com/in/usovandrey usovand@gmail.com 42