Böyük verilənlərin emalında MapReduce modelinin tətbiqi

Abstract

Müasir dövrdə rəqəmsallaşmanın sürətlənməsi, internet texnologiyalarının geniş yayılması, sosial şəbəkələrin inkişafı və müxtəlif informasiya sistemlərinin fəaliyyətinin genişlənməsi nəticəsində yaradılan məlumatların həcmi sürətlə artmaqdadır. Böyük verilənlər (Big Data) kimi xarakterizə olunan bu məlumatlar ənənəvi verilənlər bazası idarəetmə sistemlərinin və klassik hesablama metodlarının imkanlarını aşaraq yeni texnoloji yanaşmaların tətbiqini zəruri etmişdir. Böyük verilənlərin əsas xüsusiyyətləri olan yüksək həcm, sürət və müxtəliflik onların saxlanılması, emalı və təhlili proseslərini mürəkkəbləşdirir. Bu səbəbdən paylanmış hesablama sistemləri və paralel emal texnologiyaları böyük verilənlərlə işləmək üçün mühüm vasitələrdən biri hesab olunur. Belə texnologiyalar arasında MapReduce proqramlaşdırma modeli xüsusi yer tutur. Bu model böyük həcmli məlumatların çoxsaylı hesablama qovşaqları arasında bölüşdürülərək paralel şəkildə emal edilməsinə imkan verir, hesablama proseslərinin səmərəliliyini artırır və sistem resurslarından optimal istifadəni təmin edir.

Məqalədə böyük verilənlərin emalında MapReduce modelinin tətbiqi məsələləri araşdırılmış, modelin nəzəri əsasları, arxitekturası və işləmə prinsipi təhlil edilmişdir. Map və Reduce mərhələlərinin funksiyaları, Hadoop platforması ilə inteqrasiyası və paylanmış mühitdə məlumatların emal mexanizmləri izah olunmuşdur. Həmçinin MapReduce modelinin axtarış sistemləri, sosial şəbəkələr, informasiya təhlükəsizliyi, dövlət informasiya sistemləri və maşın öyrənməsi sahələrində tətbiq imkanları qiymətləndirilmişdir. Araşdırma nəticəsində müəyyən edilmişdir ki, MapReduce modeli böyük həcmli verilənlərin emalında yüksək məhsuldarlıq, miqyaslana bilmə və nasazlıqlara davamlılıq kimi üstünlüklər təqdim edir. Bununla yanaşı, real vaxt analitikası və iterativ hesablama proseslərində müəyyən məhdudiyyətlərə malik olduğu müəyyən edilmişdir. Məqalədə mövcud problemlərin həlli istiqamətində Apache Spark və Apache Flink kimi yeni nəsil platformaların tətbiqi, təhlükəsizlik mexanizmlərinin təkmilləşdirilməsi və resurs idarəetmə üsullarının optimallaşdırılması ilə bağlı təkliflər irəli sürülmüşdür.