تحسين معالجة البيانات الضخمة: تحليل خوارزميات وإطارات عمل جدولة MapReduce

الملخص

تستخدم جوجل نموذج برمجة MapReduce لمعالجة كميات هائلة من البيانات بطريقة فعالة داخل بيئة الحوسبة الموزعة. وعادة ما يتم استخدامه لغرض إجراء الحوسبة الموزعة على مجموعات من أجهزة الكمبيوتر. غالبًا ما يتم إجراء المعالجة الحسابية للبيانات على البيانات المخزنة إما في نظام ملفات أو قاعدة بيانات. يستفيد إطار عمل MapReduce من مبدأ توطين البيانات، مما يتيح معالجة البيانات بالقرب من مواقع التخزين. يخفف هذا النهج بشكل فعال من الحاجة إلى نقل البيانات الزائدة. كشفت التطورات الأخيرة في مجال البيانات الضخمة عن زيادة ملحوظة في حجم البيانات، مما يدل على نمط نمو أسي. في السنوات الأخيرة، كانت هذه الظاهرة بمثابة مصدر إلهام للعديد من العلماء، مما دفعهم إلى الخوض في طرق جديدة للتحقيق في مجال البيانات الضخمة عبر مجالات مختلفة. إن الجاذبية الواسعة النطاق لمنصات معالجة البيانات الكبيرة التي تستخدم بنية MapReduce هي عامل أساسي يدفع الاهتمام المتزايد بتحسين أداء المنصات. إن تحسين الموارد وجدولة الوظائف له أهمية قصوى لأنه يلعب دورًا حاسمًا في تحديد ما إذا كانت التطبيقات قادرة على تلبية أهداف الأداء بنجاح في سيناريوهات الاستخدام المختلفة. إن أهمية الجدولة في البيانات الضخمة كبيرة، وتركز في المقام الأول على تحسين وقت التنفيذ والتكلفة المرتبطة بالمعالجة. الغرض من هذا البحث هو إجراء فحص للجدولة في MapReduce، مع التركيز بشكل خاص على جانبين مهمين: التسمية وكذلك تحليل الكفاءة التشغيلية.