Опыт миграции крупных проектов и данных на современные технологии

Введение

По данным исследования Международной корпорации IDC, миграция данных (МД) составляет до 60% объема работы в крупных ИТ-проектах.

Миграция данных на современные технологии позволяет компаниям расширить возможности хранения и управления информацией.

Зачем нужна миграция?

Миграция системы и данных — это больше, чем просто перенос сведений и приложений между инфраструктурами в программировании.

К обстоятельствам, требующим перемещения информации, относятся потребности бизнеса в:

• Программировании новых web-сайтов и приложений
• Сохранении конфиденциальности
• Импортозамещении ИТ-структур (БД и СУБД)
• Сокращении расходов на сопровождение информационных систем (ИС)
• Расширении возможностей с помощью новых технологий (работа с BigData и ИИ)
• Оцифровке документов
• Ускорении работы структур хранения баз данных(БД).

Подготовка

Организации в наше время зачастую встают перед необходимостью миграции ПО на современные технологии. Причин тому может быть множество — от желания снизить риски в связи с использованием устаревших вычислительных структур до приведения ИС к мировым стандартам программирования. Независимо от вида задачи переход нужно тщательно спланировать и подготовить.

Оценка текущей системы

Процесс переезда состоит из схемы оценки состояния и подготовки текущей системы, а затем непосредственно перемещения. Обе части происходят в несколько стадий.

• Аудит цифровых активов: всех приложений, сервисов и ИС, используемых в компании.
• Отбор приложений, которые больше не отвечают потребностям бизнеса и не приносят пользы.
• Поиск зависимостей между приложениями, т.к. перемещение одного может изменить работу других.

Определение целей миграции

Цели и задачи МД зависят от конкретного проекта. Каждая цель требует тщательного планирования и тестирования процесса.

Основные цели и задачи:

• Осуществить перенос между структурами без потери или изменения сведений.
• Обеспечение соответствия требованиям целевой структуры.
• Минимизировать влияние на работу пользователей в процессе миграции.
• Сохранить возможность отката или восстановления, если возникнут ошибки или проблемы.

Выбор новых технологий

Ручная миграция в программировании занимает много времени и склонна к ошибкам. Поэтому рекомендуется использовать инструменты, чтобы облегчить этот процесс.

Новые технологии автоматизируют и оптимизируют переезд, сокращают затраты времени и усилий, снижают риск ошибок, повреждения или потери информации, а также позволяют компаниям быстро адаптироваться к меняющимся потребностям рынка.

Миграционный процесс

Независимо от подхода, миграционная схема состоит из основных ключевых ступеней:

• Планирование
• Аудит и профилирование
• Резервное копирование
• Дизайн
• Исполнение
• Тестирование и верификация.

Миграция данных на современные технологии

Важный шаг к сохранению бесперебойной работы проекта без серьезных задержек — выбор правильного подхода переноса.

Основные подходы включают:

• Переход между БД для обновления, смены поставщика СУБД.
• Перемещение приложений. Например, на другой сервер.
• Перенос облачного хранилища. Например, из-за замены поставщика услуг.
• Перемещение центра обработки данных (ЦОД).
• Перенос операционных систем при переходе на другие.

Миграция системы: этапы и подходы

При подготовке к переходу в программировании важно определить: что будет переноситься, что потребуется в новой среде, что необходимо очистить, преобразовать или даже удалить.

Фактическое перемещение из одной среды в другую может быть выполнено вручную или автоматизированно.

Новую структуру для переноса необходимо заранее протестировать, а также сделать это после завершения, чтобы убедиться в правильности перехода и полноценном функционировании структур.

Обеспечить безопасность и сохранность информации в процессе перемещения возможно с помощью шифрования или резервного копирования. Это поможет предотвратить утрату и незаконный доступ к сведениям.

Тестирование и верификация

На стадии тестирования важно убедиться, что данные успешно перенесены и сохранены в новой среде, доступны и корректно работают, а также отвечают требованиям и ожиданиям.

Тестирование фактически нельзя вынести в отдельный этап, т.к. проверка должна проводиться на всех пунктах планирования, исполнения и после переноса для своевременного устранения проблем при входе в целевую инфраструктуру.

Частое тестирование в программировании гарантирует безопасность при передаче элементов и сохранение их высокого качества. Можно воспользоваться такими инструментами, как Query Profilers или Performance Monitors, чтобы выявить потенциальные проблемы и узкие места в запросах или операциях.

Перед запуском новой среды результаты нужно подтвердить ключевыми бизнес-пользователями. Этап верификации обеспечивает правильную транспортировку и регистрацию информации.

Проблемы и их решения

Миграция — это ответственный процесс, на каждом этапе которого требуется контроль, чтобы уменьшить риски ошибок и обеспечить успешное внедрение новой среды.

Типичные проблемы и как их избежать

Вне зависимости от выбранных решений МД может осложняться проблемами:

• Несовместимость, когда структура или типы данных не совпадают
• Неправильный выбор способа миграции, что может привести к несоответствию в производительности и масштабируемости системы
• Неуточненные риски, которые могут привести к потере и повреждению информации.

Чтобы минимизировать ошибки и вероятность появления проблем, рекомендуется тщательно проводить предварительный аудит и подготовку, делать резервное копирование, проверять целостность сведений, планировать дополнительные ресурсы, обеспечить гибкость и адаптацию к изменяющимся условиям и непредвиденным ситуациям.

Примеры успешных миграций

Крупный российский бизнес обитает в мире больших данных и цифровой трансформации. Уход программно-аппаратных решений крупных международных вендоров привело к необходимости быстрого цифрового развития нашей страны, перемещения с западного ПО и построения хранилищ информации на базе российского стека.

Кейсы из практики

«Комус»: практика организации хранилищ БД на базе российского программного обеспечения. Еще в 2020 году компания задумалась о модернизации своего хранилища данных SAP. Для веб-аналитики применили содержимое виртуального журнала ClickStream.

Использовали облачный вариант Arenadata DB в VK Cloud, создали таблицы в базе Oracle и работали дальше с помощью Tableau.

Переход в Arenadata DB был реализован таким образом, чтобы восемь блоков данных (universe) в Tableau основывались на информации из Arenadata DB. Для этого использовали стратегию выполнения скриптов Oracle, ETL-фреймворк на основе таблиц метаданных и автоматизированных функций, сохраняя при этом первоначальную логику загрузки данных. По завершении проекта была проведена сверка готовых данных витрин.

Архитектура модернизированной аналитической системы компании «Комус»:

С реализацией проекта справились за четыре месяца. В результате получили перспективы для развития продвинутой веб-аналитики в АХД.