Кихтенко В.А.
hVault: методика виртуальной интеграции геопространственных данных
Описывается технология прозрачного отображения файловых архивов геопространственной информации в реляционную базу данных. Таким образом становится возможным выполнение произвольных запросов к данным на языке SQL, что существенно ускоряет создание программного обеспечения для работы с этими данными. Ключевой особенностью технологии является отсутствие необходимости в предобработке всего архива данных, что позволяет применить её к существующим сверхбольшим архивам.
В докладе представлен опыт применения hVault в ИВТ СО РАН для информационной и вычислительной поддержки тематических исследований с использованием 100 терабайтного архива данных дистанционного зондирования. Система доступа полностью интегрирована с системой оперативной потоковой обработки спутниковых снимков, что обеспечивает пополнение базы данных всем спектром предоставляемых продуктов в течении 15 минут после приема. Сама же hVault является вычислительным ядром и обеспечивает абстракцию от конкретных форматов и физического расположения данных. На её основе построен ряд исследовательских программ, а также WMS сервер, предоставляющий доступ ко всему архиву по стандартизированному протоколу.
При разработке данной технологии использовалось исключительно свободное программное обеспечение с открытым исходным кодом, а именно: база данных PostgreSQL с пространственными расширениями PostGIS, библиотеки HDF и GDAL. WMS сервер написан на языке Go, а для разработки исследовательского ПО активно используется интерактивная среда iPython.
Работа выполнена при поддержке программы РАН IV.38.2, программы РАН 4.10 и программы фундаментальных исследований Президиума РАН “Фундаментальные проблемы математического моделирования”.
Тезисы доклада: | abstracts_247632_ru.pdf |
К списку докладов