Upgrade to Pro — share decks privately, control downloads, hide ads and more …

TMPA-2013 Zhuravlev: Data Migration between DBMS Using Cryptographic Hash Functions

TMPA-2013 Zhuravlev: Data Migration between DBMS Using Cryptographic Hash Functions

An Approach to Verification of Correctness of Data Migration between DBMS Using Cryptographic Hash Functions

5206c19df417b8876825b5561344c1a0?s=128

Exactpro
PRO

October 11, 2013
Tweet

Transcript

  1. Подход к верификации корректности миграции данных между СУБД с использованием

    криптографических хэш-функций Санкт-Петербургский государственный университет Кафедра системного программирования ЗАО «Ланит-Терком» Журавлев М. М. Полозов В. С. mzhuravlev@math.spbu.ru victorp@math.spbu.ru
  2. Контекст Проект миграции промышленной ДБ кредитного подразделения одного из крупных

    банков РФ из СУБД MS SQL Server 2005 в Oracle 11gR2.
  3. Постановка задачи Верифицировать корректность перегрузки данных из исходной БД в

    целевую с учетом совершённых преобразований.
  4. Подход к решению 1. Для таблиц исходной БД вычислить: –

    Количество записей. – Набор хэшей. 2. Аналогично для целевой. 3. Сравнить.
  5. Вычисление хэшей Требование: независимость от порядка записей. Решение: 1. MD5

    для каждой записи. 2. XOR MD5
  6. Использование в тестировании 1. В процессе ночной перегрузки. 2. В

    трассах. Совместно используются: • Инструмент записи и воспроизведения действий пользователя. • Журналирующие триггеры. • Процедура вычисления набора хэшей по таблице.
  7. Масштаб • Размер данных в исходной базе составляет порядка 6

    терабайт в 2410 таблицах. • Размер кода - 2.5 миллиона строк кода в хранимых процедурах. • Получившийся объем разработанного кода составил 1.5KLOC на F#, 0.3KLOC на cmd/shell, 0.4KLOC на Java. • Объем сгенерированного кода – 144КLOC на PL/SQL (8,4Mb) и 215KLOC на T-SQL (18,3Mb).
  8. Производительность Подмножество (4M записей) таблицы с 41 INT, 8 VARCHAR,

    13 DATETIME столбцов
  9. Благодарю за внимание!