Кихтенко В.А. Смирнов В.В. Чубаров Д.Л.
Использование технологий реляционных баз данных для ретроспективной обработки больших объемов спутниковых снимков.
Докладчик: Кихтенко В.А.
В докладе описывается новая технология обеспечения доступа и обработки для накопленных архивов геоданных, в частности спутниковых снимков. Предлагается представить данные в виде виртуальных реляционных таблиц унифицированного формата, а алгоритмы в виде наборов SQL-запросов.
Предлагаемое представление позволяет применить достижения в области реляционных баз данных в обработке геоданных в том числе: автоматическое распараллеливание на несколько процессорных ядер или узлов кластера, выполнение обработки с учетом физического расположения данных, высокоуровневые оптимизации порядка выполнения, а также оптимизация использования сетевых ресурсов. За счет унификации модели представления становится возможной бесшовная интеграция разнородных данных в рамках одного программного средства. Например использование данных, полученных с различных инструментальных платформ и имеющих различное пространственное и временное разрешение. Кроме того, программная реализация алгоритмов упрощается, так как исследователю не нужно вникать в особенности различных форматов данных.
Экспериментальная реализация этого подхода, разработанная в ИВТ СО РАН, основана на СУБД PostgreSQL с пространственными расширениями PostGIS. Она ориентирована на высокопроизводительную статистическую обработку длинных временных серий измерений, получаемых из 100 Тб архива спутниковых снимков MODIS и их производных продуктов в формате HDF. Ключевой особенностью реализации является использование технологии Foreign Data Wrappers, что позволяет распаковывать данные из архива на лету, без необходимости предварительного преобразования и хранения копии данных.
К списку докладов