מה זה ממפה ומפחית ב-Hadoop?

2024 מְחַבֵּר: Lynn Donovan | [email protected]. שונה לאחרונה: 2023-12-15 23:47

היתרון העיקרי של MapReduce הוא שקל להתאים את עיבוד הנתונים על פני מספר צמתי מחשוב. תחת MapReduce המודל, הפרימיטיבים של עיבוד הנתונים נקראים ממפים ו מצמצמים . פירוק יישום עיבוד נתונים למפות ו מצמצמים הוא לפעמים לא טריוויאלי.

בהתחשב בזה, מה זה ממפה ומפחית?

MapReduce מורכב משתי פונקציות מפתח: ממפה ומפחית . Mapper היא פונקציה המעבדת את נתוני הקלט. ה ממפה מעבד את הנתונים ויוצר כמה נתחים קטנים של נתונים.

מה זה מפה א ממפה יכול לתאר נתון ממפה כמו גם אדם שיוצר מפות גיאוגרפיות. חובות של גיאוגרפי ממפה או טכנאי מיפוי כוללים איסוף ועיבוד נתונים גיאוגרפיים ליצירת מפה של אזור.

בדרך זו, מה השימוש במפה ומפחית ב-Hadoop?

לפי The Apache Software Foundation, המטרה העיקרית של מַפָּה / לְהַפחִית הוא לפצל את מערך נתוני הקלט לנתחים עצמאיים המעובדים באופן מקביל לחלוטין. ה Hadoop MapReduce framework ממיין את הפלטים של המפות, אשר מוזנות לאחר מכן ל- לְהַפחִית משימות.

מה השימוש במאפר ב-Hadoop?

בריצה Hadoop עבודה, יישומים בדרך כלל מיישמים את Mapper וממשקי Reducer כדי לספק את המפה (משימות בודדות שהופכות רשומות קלט לרשומות ביניים) ולצמצם שיטות לצמצום קבוצה של ערכי ביניים החולקים מפתח לקבוצה קטנה יותר של ערכים.