Компонент нормализации данных из внешних источников для построения гибридного хранилища информации безопасности

Программа нормализации данных из внешних источников является компонентом системы предварительной обработки данных для помещения в гибридное хранилище информации безопасности. В данном компоненте реализованы алгоритмы извлечения и нормализации данных безопасности. Задача нормализации исходных данных для их последующей быстрой обработки и извлечения является одной из основных при формировании гибридного хранилища информации безопасности. В настоящий момент существует большое количество как данных безопасности (это и конфигурация анализируемой системы, ее программно-аппаратное обеспечение, уязвимости, слабые места, шаблоны атак, контрмеры, эксплоиты и другие), так и их источников (например, базы NVD, САРЕС, CVE, CWE и другие). Данные безопасности хранятся в открытых базах данных в различных форматах. В данной программе в качестве источников данных используются основные доступные базы данных безопасности: NVD, САРЕС, CWE и CVE. В качестве входных данных используются файлы в формате XML (eXtensible Markup Language), содержащие данные о программно-аппаратном обеспечении, конфигурациях, уязвимостях и их оценках, слабых местах и шаблонах атак. Данные об оценках уязвимостей нового формата CVSS версии 3.0 считываются с веб-страниц. Файлы (и страницы) обрабатываются потоковым считывателем (парсером) для извлечения ключевых полей и нормализуются в соответствии с заданным единым форматом гибридного хранилища информации безопасности.