Как я несколько дней искал ошибку в многопроцессном приложении

Вы можете подумать, что вас никогда это не коснется: ведь в вашем приложении всего один процесс и никаких проблем быть не может в принципе. Однако новые процессы могут появится неявно. Например, при подключении сторонних библиотек.

В докладе мы посмотрим как инициализируются многопроцессные приложения, на что стоит обращать внимание, а также в очередной раз вспомним, что SQLite не поддерживает полноценный конкурентный доступ. Конечно же доклад был бы неполноценным без решения, позволяющего избегать подобных проблем. И такое решение будет представлено.

Transcript

1. Даниил Попов Ведущий инженер Как я несколько дней искал ошибку в многопроцессном приложении ADVM #11
2. Немного обо мне ADVM #11 2 • Ведущий инженер Авито • Работаю над инфраструктурой Android-проекта • Занимаюсь Android разработкой с 2012 года
3. ADVM #11 3 Ни строчки нашего кода в стэктрейсе Что имеем на входе? 1 2 3 Крэш приложения в случайный момент времени Не воспроизводится локально
4. ADVM #11 4 Fatal Exception: android.database.sqlite.SQLiteDatabaseLockedException: database is locked (code 5) at android.database.sqlite.SQLiteConnection.nativeExecute(SQLiteConnection.java) at android.database.sqlite.SQLiteConnection.execute(SQLiteConnection.java:553) at android.database.sqlite.SQLiteSession.beginTransactionUnchecked(SQLiteSession.java:323) at android.database.sqlite.SQLiteSession.beginTransaction(SQLiteSession.java:298) at android.database.sqlite.SQLiteDatabase.beginTransaction(SQLiteDatabase.java:505) at android.database.sqlite.SQLiteDatabase.beginTransaction(SQLiteDatabase.java:416) at androidx.sqlite.db.framework.FrameworkSQLiteDatabase.beginTransaction(FrameworkSQLiteDatabase.java:69) at androidx.room.RoomDatabase.beginTransaction(RoomDatabase.java:354) at androidx.work.impl.WorkerWrapper.runWorker(WorkerWrapper.java:135) at androidx.work.impl.WorkerWrapper.run(WorkerWrapper.java:127) at androidx.work.impl.utils.SerialExecutor$Task.run(SerialExecutor.java:91) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1113) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:588) at java.lang.Thread.run(Thread.java:818)
5. ADVM #11 4 Fatal Exception: android.database.sqlite.SQLiteDatabaseLockedException: database is locked (code 5) at android.database.sqlite.SQLiteConnection.nativeExecute(SQLiteConnection.java) at android.database.sqlite.SQLiteConnection.execute(SQLiteConnection.java:553) at android.database.sqlite.SQLiteSession.beginTransactionUnchecked(SQLiteSession.java:323) at android.database.sqlite.SQLiteSession.beginTransaction(SQLiteSession.java:298) at android.database.sqlite.SQLiteDatabase.beginTransaction(SQLiteDatabase.java:505) at android.database.sqlite.SQLiteDatabase.beginTransaction(SQLiteDatabase.java:416) at androidx.sqlite.db.framework.FrameworkSQLiteDatabase.beginTransaction(FrameworkSQLiteDatabase.java:69) at androidx.room.RoomDatabase.beginTransaction(RoomDatabase.java:354) at androidx.work.impl.WorkerWrapper.runWorker(WorkerWrapper.java:135) at androidx.work.impl.WorkerWrapper.run(WorkerWrapper.java:127) at androidx.work.impl.utils.SerialExecutor$Task.run(SerialExecutor.java:91) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1113) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:588) at java.lang.Thread.run(Thread.java:818)
6. ADVM #11 5 Шаг 1 Понять, что именно происходит
7. ADVM #11 6
8. ADVM #11 6
9. ADVM #11 7 SQLiteDatabase SQLiteDatabase some_db.sqlite
10. ADVM #11 8 Шаг 2 Понять, где происходит
11. ADVM #11 9 Fatal Exception: android.database.sqlite.SQLiteDatabaseLockedException: database is locked (code 5) at android.database.sqlite.SQLiteConnection.nativeExecute(SQLiteConnection.java) at android.database.sqlite.SQLiteConnection.execute(SQLiteConnection.java:553) at android.database.sqlite.SQLiteSession.beginTransactionUnchecked(SQLiteSession.java:323) at android.database.sqlite.SQLiteSession.beginTransaction(SQLiteSession.java:298) at android.database.sqlite.SQLiteDatabase.beginTransaction(SQLiteDatabase.java:505) at android.database.sqlite.SQLiteDatabase.beginTransaction(SQLiteDatabase.java:416) at androidx.sqlite.db.framework.FrameworkSQLiteDatabase.beginTransaction(FrameworkSQLiteDatabase.java:69) at androidx.room.RoomDatabase.beginTransaction(RoomDatabase.java:354) at androidx.work.impl.WorkerWrapper.runWorker(WorkerWrapper.java:135) at androidx.work.impl.WorkerWrapper.run(WorkerWrapper.java:127) at androidx.work.impl.utils.SerialExecutor$Task.run(SerialExecutor.java:91) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1113) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:588) at java.lang.Thread.run(Thread.java:818)
12. ADVM #11 9 Fatal Exception: android.database.sqlite.SQLiteDatabaseLockedException: database is locked (code 5) at android.database.sqlite.SQLiteConnection.nativeExecute(SQLiteConnection.java) at android.database.sqlite.SQLiteConnection.execute(SQLiteConnection.java:553) at android.database.sqlite.SQLiteSession.beginTransactionUnchecked(SQLiteSession.java:323) at android.database.sqlite.SQLiteSession.beginTransaction(SQLiteSession.java:298) at android.database.sqlite.SQLiteDatabase.beginTransaction(SQLiteDatabase.java:505) at android.database.sqlite.SQLiteDatabase.beginTransaction(SQLiteDatabase.java:416) at androidx.sqlite.db.framework.FrameworkSQLiteDatabase.beginTransaction(FrameworkSQLiteDatabase.java:69) at androidx.room.RoomDatabase.beginTransaction(RoomDatabase.java:354) at androidx.work.impl.WorkerWrapper.runWorker(WorkerWrapper.java:135) at androidx.work.impl.WorkerWrapper.run(WorkerWrapper.java:127) at androidx.work.impl.utils.SerialExecutor$Task.run(SerialExecutor.java:91) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1113) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:588) at java.lang.Thread.run(Thread.java:818) Room
13. ADVM #11 9 Fatal Exception: android.database.sqlite.SQLiteDatabaseLockedException: database is locked (code 5) at android.database.sqlite.SQLiteConnection.nativeExecute(SQLiteConnection.java) at android.database.sqlite.SQLiteConnection.execute(SQLiteConnection.java:553) at android.database.sqlite.SQLiteSession.beginTransactionUnchecked(SQLiteSession.java:323) at android.database.sqlite.SQLiteSession.beginTransaction(SQLiteSession.java:298) at android.database.sqlite.SQLiteDatabase.beginTransaction(SQLiteDatabase.java:505) at android.database.sqlite.SQLiteDatabase.beginTransaction(SQLiteDatabase.java:416) at androidx.sqlite.db.framework.FrameworkSQLiteDatabase.beginTransaction(FrameworkSQLiteDatabase.java:69) at androidx.room.RoomDatabase.beginTransaction(RoomDatabase.java:354) at androidx.work.impl.WorkerWrapper.runWorker(WorkerWrapper.java:135) at androidx.work.impl.WorkerWrapper.run(WorkerWrapper.java:127) at androidx.work.impl.utils.SerialExecutor$Task.run(SerialExecutor.java:91) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1113) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:588) at java.lang.Thread.run(Thread.java:818) Room WorkManager
14. ADVM #11 10 Шаг 3 Попытаться нагуглить решение
15. ADVM #11 11
16. ADVM #11 11 Обновись
17. ADVM #11 11 Обновись
18. ADVM #11 12 Шаг 1 Понять, что именно происходит
19. ADVM #11 13
20. ADVM #11 13
21. ADVM #11 14 SQLiteDatabase SQLiteDatabase some_db.sqlite Process #1 Process #2
22. ADVM #11 15 Шаг 2 Понять, как происходит
23. ADVM #11 16 :app
24. ADVM #11 16 :app library library library library implementa)on implementa)on implementa)on implementa)on
25. ADVM #11 17 :app AndroidManifest AndroidManifest AndroidManifest AndroidManifest implementa)on implementa)on implementa)on implementa)on
26. ADVM #11 18 AndroidManifest AndroidManifest AndroidManifest AndroidManifest merge merge merge merge
27. ADVM #11 18 AndroidManifest AndroidManifest AndroidManifest AndroidManifest merge merge merge merge
28. ADVM #11 18 AndroidManifest AndroidManifest AndroidManifest AndroidManifest merge merge merge merge
29. ADVM #11 19 android:process=":ololo"
30. ADVM #11 19 android:process=":ololo" Service
31. ADVM #11 19 android:process=":ololo" Service ContentProvider
32. ADVM #11 19 android:process=":ololo" Service ContentProvider BroadcastReceiver
33. ADVM #11 19 android:process=":ololo" Service ContentProvider BroadcastReceiver Activity
34. ADVM #11 20 <activity android:name="com.google.android.play.core.missingsplits.PlayCoreMissingSplitsActivity" android:process=":playcore_missing_splits_activity"/> <activity android:name="com.google.android.play.core.common.PlayCoreDialogWrapperActivity" android:process=":playcore_dialog_wrapper_activity"> <service android:name="com.yandex.metrica.MetricaService" android:process=":Metrica" > <service android:name="com.yandex.metrica.ConfigurationService" android:process=":Metrica" > <service android:name="com.yandex.metrica.ConfigurationJobService" android:process=":Metrica" > 1 2 3
35. ADVM #11 21 Шаг 3 Попытаться найти ошибку в коде
36. ADVM #11 22
37. ADVM #11 22 1 Пытался найти проблему в Я.Метрике
38. ADVM #11 22 1 Пытался найти проблему в Я.Метрике ❌
39. ADVM #11 22 1 2 Пытался найти проблему в Я.Метрике Пытался найти проблему в нашем коде ❌
40. ADVM #11 22 1 2 Пытался найти проблему в Я.Метрике Пытался найти проблему в нашем коде ❌ ❌
41. ADVM #11 22 Пытался найти проблему в WorkManager 1 2 3 Пытался найти проблему в Я.Метрике Пытался найти проблему в нашем коде ❌ ❌
42. ADVM #11 22 Пытался найти проблему в WorkManager 1 2 3 Пытался найти проблему в Я.Метрике Пытался найти проблему в нашем коде ❌ ❌ ❌
43. ADVM #11 22 Пытался найти проблему в WorkManager 1 2 3 Пытался найти проблему в Я.Метрике Пытался найти проблему в нашем коде Пытался найти проблему в Room 4 ❌ ❌ ❌
44. ADVM #11 22 Пытался найти проблему в WorkManager 1 2 3 Пытался найти проблему в Я.Метрике Пытался найти проблему в нашем коде Пытался найти проблему в Room 4 ❌ ❌ ❌ ❌
45. ADVM #11 23 Шаг 4 Попытаться понять, когда началось
46. ADVM #11 24
47. ADVM #11 24
48. ADVM #11 24
49. ADVM #11 24 Включили feature toggle
50. ADVM #11 25 Шаг 5 Впасть в отчаяние
51. ADVM #11 26 open class AvitoApp : BaseApp() { @Inject lateinit var analytics: Analytics override fun onCreate() { super.onCreate() // ... analytics.track(AppStartEvent()) // ... } // ... }
52. ADVM #11 26 open class AvitoApp : BaseApp() { @Inject lateinit var analytics: Analytics override fun onCreate() { super.onCreate() // ... analytics.track(AppStartEvent()) // ... } // ... }
53. ADVM #11 27 Zygote Process ApplicaCon override fun onCreate() { // ... } fork()
54. ADVM #11 28 Zygote Process #1 ApplicaCon override fun onCreate() { // ... } fork() Process #2 ApplicaCon override fun onCreate() { // ... } Process #3 ApplicaCon override fun onCreate() { // ... } fork() fork()
55. ADVM #11 29 analytics.track
56. ADVM #11 29 analytics.track android-job
57. ADVM #11 29 analytics.track android-job WorkManager
58. ADVM #11 29 analytics.track android-job WorkManager Room
59. SQLite ADVM #11 29 analytics.track android-job WorkManager Room
60. SQLite ADVM #11 29 analytics.track android-job WorkManager Room Process #1
61. SQLite ADVM #11 29 analytics.track android-job WorkManager Room Process #1 analytics.track android-job WorkManager Room Process #2
62. ADVM #11 30 Шаг 6 Сделать надёжный фикс
63. ADVM #11 31 fun Application.runIfPrimaryProcess(block: () -> Unit) { if (isPrimaryProcess) { block() } } val Application.isPrimaryProcess: Boolean get() = currentProcessFullName == packageName val Application.currentProcessFullName: String? get() { val myPid = Process.myPid() val am = getSystemService(Context.ACTIVITY_SERVICE) as ActivityManager? return am?.runningAppProcesses?.find { myPid == it.pid }?.processName }
64. ADVM #11 31 fun Application.runIfPrimaryProcess(block: () -> Unit) { if (isPrimaryProcess) { block() } } val Application.isPrimaryProcess: Boolean get() = currentProcessFullName == packageName val Application.currentProcessFullName: String? get() { val myPid = Process.myPid() val am = getSystemService(Context.ACTIVITY_SERVICE) as ActivityManager? return am?.runningAppProcesses?.find { myPid == it.pid }?.processName }
65. ADVM #11 31 fun Application.runIfPrimaryProcess(block: () -> Unit) { if (isPrimaryProcess) { block() } } val Application.isPrimaryProcess: Boolean get() = currentProcessFullName == packageName val Application.currentProcessFullName: String? get() { val myPid = Process.myPid() val am = getSystemService(Context.ACTIVITY_SERVICE) as ActivityManager? return am?.runningAppProcesses?.find { myPid == it.pid }?.processName }
66. ADVM #11 31 fun Application.runIfPrimaryProcess(block: () -> Unit) { if (isPrimaryProcess) { block() } } val Application.isPrimaryProcess: Boolean get() = currentProcessFullName == packageName val Application.currentProcessFullName: String? get() { val myPid = Process.myPid() val am = getSystemService(Context.ACTIVITY_SERVICE) as ActivityManager? return am?.runningAppProcesses?.find { myPid == it.pid }?.processName }
67. ADVM #11 31 fun Application.runIfPrimaryProcess(block: () -> Unit) { if (isPrimaryProcess) { block() } } val Application.isPrimaryProcess: Boolean get() = currentProcessFullName == packageName val Application.currentProcessFullName: String? get() { val myPid = Process.myPid() val am = getSystemService(Context.ACTIVITY_SERVICE) as ActivityManager? return am?.runningAppProcesses?.find { myPid == it.pid }?.processName }
68. ADVM #11 31 fun Application.runIfPrimaryProcess(block: () -> Unit) { if (isPrimaryProcess) { block() } } val Application.isPrimaryProcess: Boolean get() = currentProcessFullName == packageName val Application.currentProcessFullName: String? get() { val myPid = Process.myPid() val am = getSystemService(Context.ACTIVITY_SERVICE) as ActivityManager? return am?.runningAppProcesses?.find { myPid == it.pid }?.processName }
69. ADVM #11 32 override fun onCreate() { super.onCreate() runIfPrimaryProcess { // do initialization here } }
70. ADVM #11 32 override fun onCreate() { super.onCreate() runIfPrimaryProcess { // do initialization here } }
71. ADVM #11 32 override fun onCreate() { super.onCreate() runIfPrimaryProcess { // do initialization here } } 1 Код — документация
72. ADVM #11 32 override fun onCreate() { super.onCreate() runIfPrimaryProcess { // do initialization here } } 1 2 Код — документация Явно выражает намерение
73. ADVM #11 32 override fun onCreate() { super.onCreate() runIfPrimaryProcess { // do initialization here } } Нельзя забыть про процессы 1 2 3 Код — документация Явно выражает намерение
74. ADVM #11 33 Primaree https://github.com/int02h/primaree
75. ADVM #11 Попов Даниил Ведущий инженер Спасибо dalpopov@avito.ru http://t.me/int02h https://twitter.com/int02h