manage.py 深堀り

DjangoCongress JP 2022

Transcript

1. Shintaro Matsudo manage.py 深堀り
2. 質問
3. Djangoコマンドの内部を 見に行ったことがある人
4. Motivation - 動機 業務効率化のため • 単体テストの時間短縮 • DBマイグレーションの自動ロールバック 　　　　　　　　　を検討。
5. Motivation - 動機 • python manage.py test • python manage.py migrate 　　　　　　　　　の実装を見に行った。
6. Motivation - 動機 奥が深い。
7. Motivation - 動機 ちゃんと調べて共有したい。
8. Shintaro Matsudo manage.py 深堀り
9. スライドは公開しています。
10. • Name: 松土 慎太郎 (@shintaromatsudo) • Work: 株式会社RevComm • Python: PyCon JP 2022 Staff • Like: ◦ 子どもと遊ぶ ◦ 冒険、挑戦 ◦ アウトドア、スポーツ ◦ (水曜どうでしょう、ディズニー、ラーメン二郎 ) Who am I Who am I - おまえだれよ
11. • ターゲット ◦ Django を少し使ったことがある人 • 話さないこと ◦ コマンド網羅、ひとつひとつの説明 • 話すこと ◦ デフォルトコマンドいくつかの中身 ◦ カスタムコマンドの作り方と活用例 • 前提 ◦ バージョンは、3.2を基本に4系で新しく入る機能も少しご紹介。 Overview - 概要
12. • ターゲット ◦ Django を少し使ったことがある人 • 話さないこと ◦ コマンド網羅、ひとつひとつの説明 • 話すこと ◦ デフォルトコマンドいくつかの中身 ◦ カスタムコマンドの作り方と活用例 • 前提 ◦ バージョンは、3.2を基本に4系で新しく入る機能も少しご紹介。 Overview - 概要
13. • ターゲット ◦ Django を少し使ったことがある人 • 話さないこと ◦ コマンド網羅、ひとつひとつの説明 • 話すこと ◦ デフォルトコマンドいくつかの中身 ◦ カスタムコマンドの作り方と活用例 • 前提 ◦ バージョンは、3.2を基本に4系で新しく入る機能も少しご紹介。 Overview - 概要
14. • ターゲット ◦ Django を少し使ったことがある人 • 話さないこと ◦ コマンド網羅、ひとつひとつの説明 • 話すこと ◦ デフォルトコマンドいくつかの中身 ◦ カスタムコマンドの作り方と活用例 • 前提 ◦ バージョンは、3.2を基本に4系で新しく入る機能も少しご紹介。 Overview - 概要
15. Agenda 1. コマンド紹介 a. コマンドが実行されるまで b. shell c. test d. migration関連 2. カスタムコマンド a. 概要 b. 作り方 c. 活用例 manage.py 深堀り
16. Agenda 1. コマンド紹介 a. コマンドが実行されるまで b. shell c. test d. migration関連 2. カスタムコマンド a. 概要 b. 作り方 c. 活用例 manage.py 深堀り
17. エントリーポイントmanage.pyの中身を見てみよう。 コマンド紹介 - Djangoコマンドが実行されるまで
18. コマンド紹介 - Djangoコマンドが 実行されるまで manage.py ↓ django.core.management.__init__.py execute_from_command_line() ↓ django.core.management.__init__.py ManagementUtility クラス execute() ↓ django.core.management.base.py BaseCommand クラス run_from_argv() ↓ self.execute() ↓ self.handle
19. コマンド紹介 - Djangoコマンドが 実行されるまで manage.py ↓ django.core.management.__init__.py execute_from_command_line() ↓ django.core.management.__init__.py ManagementUtility クラス execute() ↓ django.core.management.base.py BaseCommand クラス run_from_argv() ↓ self.execute() ↓ self.handle
20. manage.py ↓ django.core.management.__init__.py execute_from_command_line() ↓ django.core.management.__init__.py ManagementUtility クラス execute() ↓ django.core.management.base.py BaseCommand クラス run_from_argv() ↓ self.execute() ↓ self.handle コマンド紹介 - Djangoコマンドが 実行されるまで
21. manage.py ↓ django.core.management.__init__.py execute_from_command_line() ↓ django.core.management.__init__.py ManagementUtility クラス execute() ↓ django.core.management.base.py BaseCommand クラス run_from_argv() ↓ self.execute() ↓ self.handle コマンド紹介 - Djangoコマンドが 実行されるまで 長いので抜粋 https://github.com/django/django/blob/stab le/3.2.x/django/core/management/__init__.p y#L334
22. manage.py ↓ django.core.management.__init__.py execute_from_command_line() ↓ django.core.management.__init__.py ManagementUtility クラス execute() ↓ django.core.management.base.py BaseCommand クラス run_from_argv() ↓ self.execute() ↓ self.handle コマンド紹介 - Djangoコマンドが 実行されるまで 長いので抜粋 https://github.com/django/django/blob/stab le/3.2.x/django/core/management/base.py# L337
23. manage.py ↓ django.core.management.__init__.py execute_from_command_line() ↓ django.core.management.__init__.py ManagementUtility クラス execute() ↓ django.core.management.base.py BaseCommand クラス run_from_argv() ↓ self.execute() ↓ self.handle() コマンド紹介 - Djangoコマンドが 実行されるまで 長いので抜粋 https://github.com/django/django/blob/stab le/3.2.x/django/core/management/base.py# L373
24. manage.py ↓ django.core.management.__init__.py execute_from_command_line() ↓ django.core.management.__init__.py ManagementUtility クラス execute() ↓ django.core.management.base.py BaseCommand クラス run_from_argv() ↓ self.execute() ↓ self.handle() コマンド紹介 - Djangoコマンドが 実行されるまで
25. コマンド紹介 - Djangoコマンドが実行されるまで 各コマンドは、BaseCommandを継承して、 handle()をオーバーライドして実行している。
26. Agenda 1. コマンド紹介 a. コマンドが実行されるまで b. shell c. test d. migration関連 2. カスタムコマンド a. 概要 b. 作り方 c. 活用例 manage.py 深堀り
27. django.core.management.commands.shell.pyの handle()の中身を見ていこう。 コマンド紹介 - shell
28. コマンド紹介 - shell https://github.com/django/django/bl ob/stable/3.2.x/django/core/manage ment/commands/shell.py#L84
29. コマンド紹介 - shell https://github.com/django/django/bl ob/stable/3.2.x/django/core/manage ment/commands/shell.py#L84 ['ipython', 'bpython', 'python']
30. コマンド紹介 - shell https://github.com/django/django/bl ob/stable/3.2.x/django/core/manage ment/commands/shell.py#L84 ['ipython', 'bpython', 'python']
31. なぜ、pythonコマンドと違い、 python manage.py shellは、作成したアプリケーション内で定義したクラ ス、関数をインポートできるのか。 コマンド紹介 - shell
32. 1. DJANGO_SETTINGS_MODULEを設定 コマンド紹介 - shell manage.py
33. コマンド紹介 - shell 2. django.setup() ManagementUtility クラス execute() https://github.com/django/django/bl ob/stable/3.2.x/django/core/manage ment/commands/shell.py#L84
34. つまり、 1. DJANGO_SETTINGS_MODULEを環境変数に設定 して、 2. django.setup() すれば、pythonコマンドでも同じことができる。 コマンド紹介 - shell
35. Agenda 1. コマンド紹介 a. コマンドが実行されるまで b. shell c. test d. migration関連 2. カスタムコマンド a. 概要 b. 作り方 c. 活用例 manage.py 深堀り
36. 用語説明: test_case: テストの一単位 test_suite: test_case, test_suiteをグループにしたもの test_runner: テストの実行を管理し結果を提供するもの discover: 自動でテストコードを探索する仕組み https://docs.python.org/ja/3/library/unittest.html コマンド紹介 - test
37. django.core.management.commands.test.pyの handle()の中身を見ていこう。 コマンド紹介 - test
38. django.core.management.commands.test.py handle() コマンド紹介 - test handle()
39. django.core.management.commands.test.py handle() ↓ get_runner() 引数 --test_runner、または、settingsのTEST_RUNNERで 使用するtest_runnerを指定することができる。 デフォルトは、django.test.runner.DiscoverRunner コマンド紹介 - test handle()
40. django.test.runner.DiscoverRunner DiscoverRunnerを継承して、 任意のtest_suiteやtest_runnerなどを指定することも可能 コマンド紹介 - test DiscoverRunner クラス
41. django.core.management.commands.test.py handle() ↓ test_runner.run_tests() ← get_runner() コマンド紹介 - test handle()
42. django.core.management.commands.test.py handle() ↓ test_runner.run_tests() ← get_runner() ↓ django.test.runner.py DiscoverRunner run_tests() discoverで対象のtest_caseをまとめ、 test_suiteを作成。 コマンド紹介 - test DiscoverRunner クラス run_tests()
43. django.core.management.commands.test.py handle() ↓ test_runner.run_tests() ← get_runner() ↓ django.test.runner.py DiscoverRunner run_tests() ↓ build_suite() コマンド紹介 - test DiscoverRunner クラス build_suite() https://github.com/django/django/bl ob/stable/3.2.x/django/test/runner.p y#L559
44. django.test.runner.DiscoverRunner test_suiteのデフォルトはunittest.TestSuite コマンド紹介 - test DiscoverRunner クラス
45. django.core.management.commands.test.py handle() ↓ test_runner.run_tests() ← get_runner() ↓ django.test.runner.py DiscoverRunner run_tests() ↓ run_suite(suite) ← build_suite() 作成したtest_suiteを引数に渡し、 run_suite()を実行。 コマンド紹介 - test DiscoverRunner クラス run_tests() django.test.runner.DiscoverRunner unittest.TestSuite
46. django.core.management.commands.test.py handle() ↓ 　　　　　　　　　 test_runner.run_tests() ← get_runner() ↓ django.test.runner.py DiscoverRunner run_tests() ↓ run_suite(suite) ← build_suite() コマンド紹介 - test DiscoverRunner クラス run_suite()
47. django.core.management.commands.test.py handle() ↓ 　　　　　　　　　 test_runner.run_tests() ← get_runner() ↓ django.test.runner.py DiscoverRunner run_tests() ↓ run_suite(suite) ← build_suite() ↓ self.test_runner() コマンド紹介 - test DiscoverRunner クラス run_suite()
48. django.test.runner.DiscoverRunner test_runnerのデフォルトはunittest.TextTestRunner コマンド紹介 - test DiscoverRunner クラス
49. django.core.management.commands.test.py handle() ↓ 　　　　　　　　　 test_runner.run_tests() ← get_runner() ↓ django.test.runner.py DiscoverRunner run_tests() ↓ run_suite(suite) ← build_suite() ↓ run(suite) ← self.test_runner() コマンド紹介 - test DiscoverRunner クラス run_suite() unittest.TextTestRunner django.test.runner.DiscoverRunner unittest.TestSuite
50. django.core.management.commands.test.py handle() ↓ 　　　　　　　　　 test_runner.run_tests() ← get_runner() ↓ django.test.runner.py DiscoverRunner run_tests() ↓ run_suite(suite) ← build_suite() ↓ run(suite) ← self.test_runner() ↓ cpython.Lib.unittest.runner.py TextTestRunner run(self, test) コマンド紹介 - test unittest.TextTestRunner クラス run() https://github.com/python/cpython/ blob/3.11/Lib/unittest/runner.py#L192
51. django.core.management.commands.test.py handle() ↓ 　　　　　　　　　 test_runner.run_tests() ← get_runner() ↓ django.test.runner.py DiscoverRunner run_tests() ↓ run_suite(suite) ← build_suite() ↓ run(suite) ← self.test_runner() ↓ cpython.Lib.unittest.runner.py TextTestRunner run(self, test) コマンド紹介 - test unittest.TextTestRunner クラス run() testはunittest.TestSuite unittest.TestSuite.__call__を見てみよ う。
52. django.core.management.commands.test.py handle() ↓ 　　　　　　　　　 test_runner.run_tests() ← get_runner() ↓ django.test.runner.py DiscoverRunner run_tests() ↓ run_suite(suite) ← build_suite() ↓ run(suite) ← self.test_runner() ↓ cpython.Lib.unittest.runner.py TextTestRunner run(self, test) ↓ cpython.Lib.unittest.suite.py TestSuite test() == TestSuite.__call__() == TestSuite.run() コマンド紹介 - test unittest.TestSuite クラス https://github.com/python/cpython/ blob/3.11/Lib/unittest/suite.py#L83 unittest.TestSuite.runを実行している。
53. django.core.management.commands.test.py handle() ↓ 　　　　　　　　　 test_runner.run_tests() ← get_runner() ↓ django.test.runner.py DiscoverRunner run_tests() ↓ run_suite(suite) ← build_suite() ↓ run(suite) ← self.test_runner() ↓ cpython.Lib.unittest.runner.py TextTestRunner run(self, test) ↓ cpython.Lib.unittest.suite.py TestSuite test() == TestSuite.__call__() == TestSuite.run() コマンド紹介 - test unittest.TestSuite クラス run() https://github.com/python/cpython/ blob/3.11/Lib/unittest/suite.py#L102
54. django.core.management.commands.test.py handle() ↓ 　　　　　　　　　 test_runner.run_tests() ← get_runner() ↓ django.test.runner.py DiscoverRunner run_tests() ↓ run_suite(suite) ← build_suite() ↓ run(suite) ← self.test_runner() ↓ cpython.Lib.unittest.runner.py TextTestRunner run(self, test) ↓ cpython.Lib.unittest.suite.py TestSuite test() == TestSuite.__call__() == TestSuite.run() コマンド紹介 - test unittest.TestSuite クラス run() 自身をforループで回している。 TestSuiteの一つ一つは、 TestSuiteまたはTestCase。 forループでTestCaseを一つ一つ実行。
55. django.core.management.commands.test.py handle() ↓ 　　　　　test_runner.run_tests() ← get_runner() ↓ django.test.runner.py DiscoverRunner run_tests() ↓ run_suite(suite) ← build_suite() ↓ run(suite) ← self.test_runner() ↓ cpython.Lib.unittest.runner.py TextTestRunner run(self, test) ↓ cpython.Lib.unittest.suite.py TestSuite test() == TestSuite.__call__() == TestSuite.run() ↓ django.test.testcase.py TestCase run() コマンド紹介 - test DiscoverRunnerが処理の中心 Pythonのunittestを実行 unittest.TextTestRunner django.test.runner.DiscoverRunner unittest.TestSuite
56. 引数: コマンド紹介 - test
57. 引数: • --parallel [N] • -b コマンド紹介 - test
58. 引数: • --parallel [N] ◦ 並列処理 ◦ multiprocessingを使用 ◦ test_suite が、 ParallelTestSuite になる。 https://github.com/django/django/blob/stable/3.2.x/django/test/runner.py#L351 コマンド紹介 - test
59. 引数: • -b ◦ 成功したテストからログの出力をしない。 ◦ unittestの一機能 ◦ 標準出力・標準エラー出力を、一時的にio.StringIO()に保 持する。 https://github.com/python/cpython/blob/main/Lib/unittest/result.py#L24 コマンド紹介 - test
60. 引数: • --parallel と -b はテストの高速化に一役買うことができる。 コマンド紹介 - test
61. 引数: • --parallel と -b はテストの高速化に一役買うことができる。 • しかし、--parallel と -b は同時に使うことができない。 コマンド紹介 - test
62. 引数: • --parallel と -b はテストの高速化に一役買うことができる。 • しかし、--parallel と -b は同時に使うことができない。 • ただし、それは3系までの話。 コマンド紹介 - test
63. 引数: • --parallel と -b はテストの高速化に一役買うことができる。 • しかし、--parallel と -b は同時に使うことができない。 • ただし、それは3系までの話。 • 4.0から同時実行可能になる。 https://docs.djangoproject.com/en/4.0/releases/4.0/#tests コマンド紹介 - test
64. Agenda 1. コマンド紹介 a. コマンドが実行されるまで b. shell c. test d. migration関連 2. カスタムコマンド a. 概要 b. 作り方 c. 活用例 manage.py 深堀り
65. 概要: Django でモデルに対して行った変更 (フィールドの追加やモデルの削除 など) をデータベーススキーマに反映させる方法です。 https://docs.djangoproject.com/ja/3.2/topics/migrations/ コマンド紹介 - migration関連
66. • migrate • makemigrations • showmigrations • sqlmigrate • squashmigrations • 🆕 optimizemigration コマンド紹介 - migration関連
67. • migrate • makemigrations • showmigrations • sqlmigrate • squashmigrations • 🆕 optimizemigration コマンド紹介 - migration関連
68. • migrate ◦ (makemigrationsコマンドで作成した) マイグレーションファイルを データベースに適用、またはロールバックする。 コマンド紹介 - migration関連
69. • migrate • migrate <app_label> <migration_name> ◦ <app_label> ▪ 指定したappのみ実行 ◦ <app_label> <migration_name> ▪ 指定したappの指定したmigrationまで実行 ▪ 0001などprefixで指定できる。zeroは全て未実行の状態に戻す。 コマンド紹介 - migration関連
70. • migrate • --fake a. 実際にはデータベースへの変更はせず、 b. django_migrationsテーブルへの追記のみ行い、 c. マイグレーションファイルは適用したことにする。 コマンド紹介 - migration関連
71. • migrate • 🆕 --prune ◦ 存在しないマイグレーションを django_migrations テーブルから削 除する。 ◦ (squashmigrationコマンドで) 削除されたマイグレーションファイル をデータベースに反映するときに使用する。 コマンド紹介 - migration関連
72. • 🆕 optimizemigration • optimizemigration <app_label> <migration_name> ◦ 指定されたmigrationを最適化する コマンド紹介 - migration関連
73. コマンド紹介 - migration関連 optimizemigration
74. コマンド紹介 - migration関連 python manage.py optimizemigration asa 0001 optimizemigration
75. コマンド紹介 - migration関連 optimizemigration
76. コマンド紹介 - migration関連 • 自動ロールバックスクリプト紹介 ◦ 使いどき ▪ 本番環境と開発環境に紐づいたブランチで、migrationに差分が 出たとき
77. コマンド紹介 - migration関連
78. コマンド紹介 - migration関連
79. コマンド紹介 - migration関連
80. Agenda 1. コマンド紹介 a. コマンドが実行されるまで b. shell c. test d. migration関連 2. カスタムコマンド a. 概要 b. 作り方 c. 活用例 manage.py 深堀り
81. Djangoではコマンドを作ることが出来ます。 自作したコマンドは元々用意されているコマンドと同様にmanage.pyから実行 することができます。 Writing custom django-admin commands カスタムコマンド - 概要
82. Agenda 1. コマンド紹介 a. コマンドが実行されるまで b. shell c. test d. migration関連 2. カスタムコマンド a. 概要 b. 作り方 c. 活用例 manage.py 深堀り
83. カスタムコマンド - 作り方 カスタムコマンド - 作り方 プロジェクト作成
84. カスタムコマンド - 作り方 カスタムコマンド - 作り方 アプリケーション作成
85. カスタムコマンド - 作り方 カスタムコマンド - 作り方 setting -> settings
86. カスタムコマンド - 作り方 カスタムコマンド - 作り方 コマンドの置き場所を作成
87. カスタムコマンド - 作り方 カスタムコマンド - 作り方 ohayo.py作成
88. カスタムコマンド - 作り方 カスタムコマンド - 作り方 BaseCommandを継承
89. カスタムコマンド - 作り方 カスタムコマンド - 作り方 引数を設定
90. カスタムコマンド - 作り方 カスタムコマンド - 作り方 処理内容を記述
91. Agenda 1. コマンド紹介 a. コマンドが実行されるまで b. shell c. test d. migration関連 2. カスタムコマンド a. 概要 b. 作り方 c. 活用例 manage.py 深堀り
92. • モデルを参照する必要がある処理 • 非同期で実行したい、時間がかかる処理 • 定期的なバッチ処理 カスタムコマンド - 活用例
93. • モデルを参照する必要がある処理 • 非同期で実行したい、時間がかかる処理 → ユーザが活動データをCSVでダウンロードする。 カスタムコマンド - 活用例
94. カスタムコマンド - 活用例 • ユーザが活動データをCSVでダウンロードする User ECS (Django) S3 RDS User 昼寝でも してよう
95. カスタムコマンド - 活用例 • ユーザが活動データをCSVでダウンロードする User ECS (Django) SQS Lambda ECS (Django 別タスク) S3 RDS User 1. CSV作成リクエスト 2. キューに登録 4. ECS実行 3. リクエスト 成功 5. DBからデータを取得し、 CSVを作成 S3にアップロード (重い処理) 6. CSV取得
96. カスタムコマンド - 活用例 • ユーザが活動データをCSVでダウンロードする User ECS (Django) SQS Lambda ECS (Django 別タスク) S3 RDS User 1. CSV作成リクエスト 2. キューに登録 4. ECS実行 3. リクエスト 成功 5. DBからデータを取得し、 CSVを作成 S3にアップロード (重い処理) 6. CSV取得
97. カスタムコマンド - 活用例 • ユーザが活動データをCSVでダウンロードする User ECS (Django) SQS Lambda ECS (Django 別タスク) S3 RDS User 1. CSV作成リクエスト 2. キューに登録 4. ECS実行 3. リクエスト 成功 5. DBからデータを取得し、 CSVを作成 S3にアップロード (重い処理) 6. CSV取得
98. カスタムコマンド - 活用例 • ユーザが活動データをCSVでダウンロードする User ECS (Django) SQS Lambda ECS (Django 別タスク) S3 RDS User 1. CSV作成リクエスト 2. キューに登録 4. ECS実行 3. リクエスト 成功 5. DBからデータを取得し、 CSVを作成 S3にアップロード (重い処理) 6. CSV取得
99. カスタムコマンド - 活用例 • ユーザが活動データをCSVでダウンロードする User ECS (Django) SQS Lambda ECS (Django 別タスク) S3 RDS User 1. CSV作成リクエスト 2. キューに登録 4. ECS実行 3. リクエスト 成功 5. DBからデータを取得し、 CSVを作成 S3にアップロード (重い処理) 6. CSV取得 ecs = boto3.client("ecs") ecs.run_task( overrides={ "containerOverrides": [ { "command": ["python", "manage.py", "ohayo"] } ] } )
100. カスタムコマンド - 活用例 • ユーザが活動データをCSVでダウンロードする User ECS (Django) SQS Lambda ECS (Django 別タスク) S3 RDS User 1. CSV作成リクエスト 2. キューに登録 4. ECS実行 3. リクエスト 成功 5. DBからデータを取得し、 CSVを作成 S3にアップロード (時間がかかる処理 ) 6. CSV取得
101. カスタムコマンド - 活用例 • ユーザが活動データをCSVでダウンロードする User ECS (Django) SQS Lambda ECS (Django 別タスク) S3 RDS User 1. CSV作成リクエスト 2. キューに登録 4. ECS実行 3. リクエスト 成功 5. DBからデータを取得し、 CSVを作成 S3にアップロード (時間がかかる処理 ) 6. CSV取得
102. • コマンド紹介 ◦ shell ▪ appにアクセスできるpythonインタラクティブモード ◦ test ▪ 4系から--parallelと-bを同時実行できる。 ◦ migration関連 ▪ 自動ロールバックスクリプトはDB操作なので慎重に • カスタムコマンド ◦ 非同期処理に使える。 Wrap up - まとめ
103. お聞きくださりありがとうございました！ Thank you - 感謝
104. DjangoCongress JP 2022 スタッフのみなさま オフラインでのイベント運営ありがとうございます。 同僚・会社 登壇にあたり、サポート・アドバイスありがとうございました。 Thank you - 感謝
105. Copyright © 2022 RevComm Inc. コミュニケーションを再発明し 人が人を想う社会を創る
106. Copyright © 2022 RevComm Inc. 電話営業や顧客応対を自動録音、AIが文字 起こし、解析・可視化することにより、顧 客と担当者が「何を」「どのように」話し ているか分からない、というブラックボッ クス問題を解消し、商談獲得率・成約率の 向上やセルフコーチングを後押しします。 Service ビジネス向けスマート電話
107. Copyright © 2022 RevComm Inc. Culture フルリモート フルフレックス プロフェッショナル 自由と責任を 尊重する文化
108. Copyright © 2022 RevComm Inc. Language and tools 言語/ フレームワーク インフラ/運用管理 コミュニケーション
109. Copyright © 2022 RevComm Inc. www.revcomm.co.jp/careers/ ただいまRevCommでは エンジニアを絶賛大募集中です。