Хранение и обработка данных спутниковых мульти- и гиперспектральных снимков на основе формата Apache Parquet

Рассмотрены способы хранения и алгоритмы последующей обработки данных мульти- и гиперспектральных спутниковых снимков, которые реализуются механизмами распределенных вычислительных систем, входящих в экосистему Apache Hadoop. Отличительной особенностью представленных в работе решений является способ хранения данных дистанционного зондирования. Такой способ позволяет снизить объем хранимой информации за счет архивации посредством технологии Apache Parquet, а также дает возможность работы с данными с использованием запросов Spark SQL. Приведены решения конкретных задач на примере вычисления нормализованных вегетационных индексов спутниковых снимков космических аппаратов Ресурс-П и Sentinel-2A на базе фрэйворков Apache Spark и Apache Flink.