Розглянуто питання коректної інтерпретації інформаційних потоків у розподілених інформаційних системах. Об'єктом дослідження є методи дослідження просування івеликих данихі по кластерах системи. Мета роботи - дослідження перспективних напрямків та технологій для аналізу структур даних у розподілених інформаційних системах. Розглянуто технології обробки великих даних. Проведено аналіз кожної з них. Наведено приклад застосування парадигми MapReduce, завантаження великих обсягів даних на сервер, опрацювання та аналіз неструктурованої інформації та розподілення її у кластеризовану базу даних. Узагальнено поняття "великі дані". Наведено приклади методів по роботі з масивами неструктурованих даних. Виділені наукові спрямування для аналізу великих даних. Сформульовані принципи роботи неструктурованих даних у розподілених інформаційних системах. Приводиться робота платформ Hadoop MapReduce та Apache Spark. Аналізуються їх властивості та приводяться відмінності. Наведено порівняльний аналіз продуктивності обох платформ у відношенні і час виконання до кількості ітерацій. Розглянуто способи створення RDD: розпаралелення переданої колекції в програмі та посилання на зовнішню файлову систему в Hadoop. Також наведено приклад розпаралеленої системи RDD. Запропоновано роботу класу одинак для основних операцій з базою даних: підключення до бази даних, створення таблиці, знищення таблиці, отримання рядка по id, повернення усіх елементів бази даних, оновлення, видалення та створення рядка. Проведений аналіз моделей Spark та Hadoop MapReduce для поеапної побудови розподіленої інформаційної системи. Побудований SparkConf об'єкт, який містить інформацію про аплікацію і є кінцевим варіантом експерименту. Висновки: проведені експерименти підтвердили працездатність запропонованих методів, які здатні обробляти горизонтальні масиви даних, що розпаралелені через неякісний спосіб представлення інформації. Такі перспективні напрямки роботи аналізують структуру даних з метою прогнозу результатів та створюють алгоритми передових кореляцій, що сприяють новому розумінню діяльності розподілених інформаційних систем. Подальші дослідження можуть полягати в широкому застосуванні інформаційних систем, які би забезпечували повний комплекс технологічного процесу адаптації інформаційних потоків у кластери.

  Повний текст PDF - 1.075 Mb    Зміст випуску     Цитування публікації

  Якщо, ви не знайшли інформацію про автора(ів) публікації, маєте бажання виправити або відобразити більш докладну інформацію про науковців України запрошуємо заповнити "Анкету науковця"