Мансурова М.Е.   Ахмед-Заки Д.Ж.   Шоманов А.   Ихсанов С.  

Параллельная обработка гиперспектральных изображений на основе технологии MapReduce Hadoop

Докладчик: Шоманов А.

На сегодняшний день одной из актуальных задач геоинформатики является задача хранения и обработки больших объемов данных. К наиболее важным объектам исследований в данной области относятся аэрокосмические снимки, полученные при дистанционном зондировании Земли (ДЗЗ).
Целью данной работы является разработка и реализация параллельного алгоритма кластеризации ISODATA с использованием технологии MapReduce [1], тестирование и анализ результатов. В ходе проведённого исследования были получены следующие результаты: разработан параллельный алгоритм кластеризации гиперспектральных изображений ISODATA; выполнена программная реализация параллельного алгоритма кластеризации гиперспектральных изображений на языке Java с использованием технологии MapReduce Hadoop [2]; работа программы была протестирована на данных, предоставленных сотрудниками кафедры геоинформатики КазНУ имени аль-Фараби.
Основная идея параллельной реализации алгоритма кластеризации ISODATA, основанной на технологии MapReduce, заключается в классификации каждого пикселя до ближайшего кластера в функции Map и расчета новых кластерных центров в функции Reduce. Для визуализации результатов был разработан графический интерфейс в среде Eclipse. Выполнение задачи кластеризации было распределено на несколько вычислительных узлов. Тестирование показало, что с увеличением объема данных вычисления в кластерах с большим количеством узлом дают существенный выигрыш. Так как рассматриваемые в данной работе снимки ДДЗ представляют собой объекты большого объема, то применение парадигмы MapReduce существенно сокращает время их обработки.

Список литературы:
1. J. Dean, S. Ghemawat. MapReduce: Simplified Data Processing on Large Clusters. Communications of The ACM, 2008. – 51(1). – p. 107-113.
2. Чак Лэм. Hadoop в действии. М.: ДМК Пресс, 2012. – 424 с.

Файл с полным текстом: Мансурова М.Е. Статья.doc


К списку докладов