תוכן עניינים:

האם אני יכול להפעיל ספארק באופן מקומי?
האם אני יכול להפעיל ספארק באופן מקומי?

וִידֵאוֹ: האם אני יכול להפעיל ספארק באופן מקומי?

וִידֵאוֹ: האם אני יכול להפעיל ספארק באופן מקומי?
וִידֵאוֹ: ככה זה כשיש לך חברה רוסיה 2024, נוֹבֶמבֶּר
Anonim

פחית ניצוץ לִהיוֹת לָרוּץ באמצעות מתזמן האשכול העצמאי המובנה ב- מְקוֹמִי מצב. זה אומר שכל ה לְעוֹרֵר תהליכים הם לָרוּץ בתוך אותו JVM בצורה יעילה, מופע יחיד, מרובה הליכי, של לְעוֹרֵר.

בהקשר זה, איך אני מפעיל את Apache spark באופן מקומי?

השלבים הבאים מראים כיצד להתקין את Apache Spark

  1. שלב 1: אימות התקנת Java.
  2. שלב 2: אימות התקנת Scala.
  3. שלב 3: הורדת Scala.
  4. שלב 4: התקנת Scala.
  5. שלב 5: הורדת Apache Spark.
  6. שלב 6: התקנת Spark.
  7. שלב 7: אימות התקנת Spark.

יתרה מזאת, האם נוכל להריץ ספארק ללא Hadoop? לפי לְעוֹרֵר תיעוד, Spark יכול לרוץ ללא Hadoop . אתה מאי תריץ את זה כמצב עצמאי לְלֹא כל מנהל משאבים. אבל אם אתה רוצה ל לָרוּץ בהגדרה מרובה צמתים, אתה צריך מנהל משאבים כמו YARN או Mesos ומערכת קבצים מבוזרת כמו HDFS , S3 וכו'. כן, ניצוץ יכול לרוץ ללא hasoop.

חוץ מזה שלמעלה, איך אני מפעיל את spark במצב עצמאי?

להתקין מצב עצמאי של Spark , אתה פשוט מציב גרסה מהודרת של לְעוֹרֵר בכל צומת באשכול. אתה יכול להשיג גרסאות מובנות מראש של לְעוֹרֵר עם כל מהדורה או לבנות אותו בעצמך.

האם ניצוץ יכול לרוץ ב-Windows?

א לְעוֹרֵר יישום פחית להיות א חלונות -תסריט מעטפת או זה פחית תהיה תוכנית מותאמת אישית ב-Java, Scala, Python או R כתובים. אתה צריך חלונות קובצי הפעלה המותקנים במערכת שלך כדי לָרוּץ יישומים אלה.

מוּמלָץ: