כיצד אוכל להפעיל את שרת ה-Spark History שלי?

2024 מְחַבֵּר: Lynn Donovan | [email protected]. שונה לאחרונה: 2023-12-15 23:47

כדי להפעיל את שרת ההיסטוריה של Spark:

1. צור ספרייה ליומני אירועים במערכת הקבצים DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
2. כאשר רישום אירועים מופעל, התנהגות ברירת המחדל היא שמירת כל היומנים, מה שגורם לאחסון לגדול עם הזמן.

מלבד זה, איך אני מגדיר שרת היסטוריה של spark?

כדי להפעיל את שרת ההיסטוריה של Spark:

1. צור ספרייה עבור יומני אירועים במערכת הקבצים DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
2. כאשר רישום אירועים מופעל, התנהגות ברירת המחדל היא שמירת כל היומנים, מה שגורם לאחסון לגדול עם הזמן.

באופן דומה, כיצד אוכל למצוא את כתובת האתר של שרת ה-Spark History שלי? למשל, עבור שרת היסטוריה , הם בדרך כלל יהיו נגישים בכתובת שרת - כתובת אתר >:18080/api/v1, וליישום פועל, בכתובת https://localhost:4040/api/v1. ב-API, הפנייה לאפליקציה מתבצעת באמצעות מזהה האפליקציה שלה, [app-id].

באופן דומה, מהו שרת ההיסטוריה של spark?

ה שרת היסטוריית הניצוץ הוא כלי ניטור המציג מידע על הושלם לְעוֹרֵר יישומים. המידע הזה הוא נשלף מהנתונים שיישומים כותבים כברירת מחדל לספרייה על Hadoop Distributed File System (HDFS).

מה זה Sparkui?

ממשק המשתמש של Spark Web מאפשר לך לראות רשימה של שלבים ומשימות מתזמן, מידע סביבתי, מידע על המבצעים הפועלים ועוד. צפה בהדגמה זו בת 30 דקות כדי ללמוד על: רכיבים ומחזור החיים של תוכנית Spark. איך אפליקציית Spark שלך פועלת על אשכול Hadoop.