Миграция данных из Oracle в Postgres

Выступление Максима Трегубова, нашего ведущего системного администратора, на встрече сообщества #PostgreSQLRussia (15 сентября 2015 года, Москва).

Transcript

1. 15 сентября 2015 года Миграция данных из Oracle в Postgres Максим Трегубов Ведущий системный администратор
2. О себе  18 лет Oracle-бэкграунда (Dev + DBA)  Python (Shell + Web App)  *nix power user  Hadoop, MongoDB, Elasticsearch… 2/24
3. Текущая ситуация  Приложение на этапе внедрения  Трехзвенная архитектура  СУБД Oracle 3/24
4. Почему Postgres?  Три коммитера ядра в России  Сертификация ФСТЭК  Лицензия BSD  Существует компания Postgres Professional: http://postgrespro.ru 4/24
5. Текущая ситуация Web App Hibernate SQL Oracle 5/24
6. Текущая ситуация Web App Hibernate SQL Oracle 6/24
7. Задачи  Оценить возможность миграции данных  Оценить трудозатраты в случае изменения движка отчетов 7/24
8. Требования к инструменту миграции  Возможность воссоздания структуры данных (таблиц, индексов, constraints…)  Быстрота миграции данных (около 50 Гб)  Простота в освоении и надежность  …  Бесплатность 8/24
9. Наш выбор – Ora2Pg  Богатый функционал  Активное развитие проекта на протяжении 15 лет  Open Source, лицензия GPLv3 9/24
10. Подготовка тестового стенда  Создание или обновление стендов для разработки и тестирования  Oracle, WebLogic, WebSphere, Hadoop, Postgres  Более 100 серверов 10/24
11. Подготовка тестового стенда 11/24
12. Подготовка тестового стенда  Oracle Enterprise Linux  Oracle Client 11.2.0.3  Postgres 9.4  Ora2Pg 15x 12/24
13. Подготовка тестового стенда VM1 Oracle 11.2.0.3 Oracle Enterprise Linux VM2 Postgres 9.4 Oracle Client 11.2.0.3 Ora2Pg 15.2 CentOS 6.6 TCP 1521 13/24
14. Подготовка тестового стенда  DEMO 14/24
15. Конфигурация Ora2Pg  ora2pg --init_project tst_owner tst_owner/ ├── config ├── data ├── reports ├── schema │ ├── dblinks │ ├── directories … 15/24
16. Конфигурация Ora2Pg  Откуда  ORACLE_HOME /usr/lib/oracle/11.2/client64  ORACLE_DSN dbi:Oracle:host=oracle_host.domain.ru;sid=<SID>  ORACLE_USER SYSTEM  ORACLE_PWD MANAGER  EXPORT_SCHEMA 1  SCHEMA TST_OWNER 16/24
17. Конфигурация Ora2Pg  Куда  PG_DSN dbi:Pg:dbname=qqq;host=localhost;port=5432  PG_USER tst_owner  PG_PWD tst_onwer  PG_SCHEMA tst_owner 17/24
18. Конфигурация Ora2Pg  Как  TYPE TABLE,COPY  Разное  DEFAULT_NUMERIC numeric 18/24
19. Конфигурация Ora2Pg  ./export_schema.sh  $psql -d qqq -U test_owner < schema/tables/table.sql  $ora2pg -t COPY -o data.sql -b ./data -c ./config/ora2pg.conf  $psql -d qqq -U test_owner < schema/tables/INDEXES_table.sql  $psql -d qqq -U test_owner < schema/tables/CONSTRAINTS_table.sql 19/24
20. Конфигурирование Ora2Pg  DEMO 20/24
21. SQL  Переписали часть SQL-движка, избавившись от Oracle-специфичных выражений  Connect by prior  Decode  (+)  … 21/24
22. Итоги  Подтвердили возможность перехода  Не поменяли ни строчки кода в Java  Трудозатраты составили ~ 100 часов  Приложение без PL/SQL  Объем БД – 50 Гб  10 отчетов  35 таблиц 22/24
23. Дальнейшие шаги  Проверить возможность миграции приложения с логикой на PL/SQL 23/24
24. Спасибо! Вопросы? 24/24 Максим Трегубов mtregubov@custis.ru