תוכן עניינים:

איפה אני יכול למצוא יומני ניצוצות?
איפה אני יכול למצוא יומני ניצוצות?

וִידֵאוֹ: איפה אני יכול למצוא יומני ניצוצות?

וִידֵאוֹ: איפה אני יכול למצוא יומני ניצוצות?
וִידֵאוֹ: הכל אני יכול בחופש הגדול 2024, אַפּרִיל
Anonim

עֵץ ספריות

מיקום ברירת המחדל של SPARK_WORKER_LOG_DIR הוא /var/ עֵץ / לְעוֹרֵר /עוֹבֵד. ברירת המחדל עֵץ ספרייה להפעלת ה לְעוֹרֵר שרת SQL Thrift הוא $HOME/ לְעוֹרֵר -שרת חסכון. לְעוֹרֵר מעטפת ויישום יומנים יוצאים לקונסולה. עֵץ קבצי תצורה ממוקמים באותה ספרייה כמו לְעוֹרֵר -env.sh.

לגבי זה, איך אני משיג יומני ניצוצות?

לְעוֹרֵר עבודה או יישום מדף ניתוח, אתה יכול לגשת ל יומנים דרך ממשק המשתמש של האפליקציה ו לְעוֹרֵר ממשק משתמש של יישומים. דף, אתה יכול לגשת ל יומנים דרך ה לְעוֹרֵר ממשק משתמש של יישומים. אתה יכול גם להוסיף יומנים כדי לזהות את השגיאות והחריגים ב לְעוֹרֵר כשלים בעבודה או ביישום.

באופן דומה, איך בודקים יומני חוט? צפייה בא עֵץ קובץ ה יומנים של מאסטר יישומים ניתן לראות גם בדפדפן בממשק המשתמש של מנהל המשאבים ב-https://${ חוּט .resourcemanager.webapp.address}/cluster (https://localhost:8088 על "אשכול" של צומת יחיד.

באופן דומה אפשר לשאול, איך אני משיג יומני ביצוע ב-Spark?

תשובה

  1. הוראות לקבלת יומני הביצוע של Spark:
  2. עבור Amabari -- 1) עבור לשירות Spark וללשונית Configs: 2) מצא את הערך "Advanced spark-log4j-properties".
  3. עבור Cloudera -- הגדר: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

כיצד אוכל למצוא את כתובת האתר של שרת ה-Spark History שלי?

למשל, עבור שרת היסטוריה , הם בדרך כלל יהיו נגישים בכתובת שרת - כתובת אתר >:18080/api/v1, וליישום פועל, בכתובת https://localhost:4040/api/v1. ב-API, הפנייה לאפליקציה מתבצעת באמצעות מזהה האפליקציה שלה, [app-id].

מוּמלָץ: