Система хранения данных — самый нагруженный элемент информационной системы баз данных СОРМ-3: комплекс обязан хранить сведения об абонентах, метаданные и журналы событий в сроки, установленные Приказом №573, и при этом обеспечивать скорость выборок по запросам уполномоченных органов. В этом материале мы обобщили практический опыт разработчика st-sorm и подготовили рекомендации по нормализации логов и ускорению выборок в системах хранения.
Требования Приказа №573 к СХД СОРМ-3
Приказ №573 определяет правила построения информационных систем баз данных СОРМ-3: оператор связи должен хранить сведения об абонентах, факты приема, передачи и обработки сообщений, обеспечивать целостность информации и готовность предоставить ее уполномоченным органам. На практике это означает, что система хранения данных проектируется с запасом емкости, учитывает ежегодный рост объема логов, а дисковая подсистема держит стабильную скорость выборок даже при пиковой нагрузке.
Почему выборки в хранилище замедляются
Анализ типовых внедрений показывает несколько причин деградации производительности:
- логи с разных узлов сети поступают в разнородных форматах;
- отсутствуют индексы по часто запрашиваемым полям: идентификатор абонента, IP-адрес, время сессии;
- «широкие» таблицы не разбиты на партиции по периодам;
- не хватает IOPS дисковой подсистемы;
- данные не разделены на «горячий» и «холодный» уровни хранения.
Нормализация логов: базовые процедуры
Нормализация — приведение журналов событий к единой структуре, что сокращает объем хранения и ускоряет выборки. Основные шаги:
- Унифицировать схему полей и формат временных меток для всех узлов сети.
- Очистить дубли, служебные и «пустые» записи.
- Разделить справочные данные (абоненты, тарифы) и журналы событий (сессии, действия).
- Настроить регулярное архивирование старых периодов на «холодный» уровень СХД.
После нормализации объем «горячего» уровня сокращается на 30–40%, а выборки по идентификатору абонента выполняются заметно быстрее.
Как ускорить выборки в соответствии с Приказом №573
Чтобы сохранить скорость выборок при росте данных, работают следующие меры:
- индексы по ключевым полям: идентификатор абонента, IP-адрес, период запроса;
- партиционирование таблиц по месяцам или кварталам;
- материализованные представления для типовых сценариев запросов;
- SSD для «горячего» уровня и RAID 10 для отказоустойчивости;
- масштабирование СХД с учетом роста сведений об абонентах;
- репликация и резервное копирование в окна вне пиковой нагрузки.
Заключение
Грамотно спроектированная система хранения данных для ИС БД СОРМ-3 — это баланс между требованиями Приказа №573, производительностью и бюджетом оператора связи. Нормализация логов, индексирование и партиционирование позволяют сохранить скорость выборок даже при кратном росте объема информации. При выборе решения оператору стоит ориентироваться на сертифицированные комплексы от разработчика, готовые к масштабированию и долгосрочному хранению данных.
