וִידֵאוֹ: מה זה Metastore כוורת?
2024 מְחַבֵּר: Lynn Donovan | [email protected]. שונה לאחרונה: 2023-12-15 23:47
Metastore הוא המאגר המרכזי של אפאצ'י מטא נתונים של כוורת . זה מאחסן מטא נתונים ל כוורת טבלאות (כמו הסכימה והמיקום שלהן) ומחיצות במסד נתונים יחסי. הוא מספק ללקוח גישה למידע זה באמצעות שימוש metastore שירות API. שירות שנותן metastore גישה לאפצ'י אחר כוורת שירותים.
לאחר מכן, אפשר גם לשאול, מהי ברירת המחדל של Metastore עבור כוורת?
מסד הנתונים של דרבי הוא metastore ברירת המחדל עבור Hive שתומך רק במשתמש אחד, אז רק מעטפת אחת אתה יכול לפתוח.
באופן דומה, מה ההבדל בין Metastore מקומי למרוחק? ב השוואה עם ה מְקוֹמִי במצב, יש יתרון אחד בשימוש ב- מְרוּחָק מצב, כלומר מְרוּחָק מצב אינו צריך שהמנהלן ישתף פרטי התחברות של JDBC עבור metastore מסד נתונים יחד עם כל משתמש כוורת, אבל מְקוֹמִי מצב כן.
חוץ מזה, איפה ה- Metastore הכוורת?
כברירת מחדל, מיקום המחסן הוא file:///user/ כוורת /מחסן ואנחנו יכולים גם להשתמש ב כוורת -אֲתַר. קובץ xml עבור המקומי או המרוחק metastore . כאשר אנו משתמשים במנהל ההתקן של MySQL JDBC, אנו מורידים את Jconnector (מנהל התקן MySQL JDBC) וממקמים אותו ב-$HIVE_HOME/lib ומקום כוורת -אֲתַר.
מדוע Metastore לא מאוחסן ב-HDFS?
אז ה metastore משתמש במסד נתונים יחסי מסורתי (כמו MySQL, Oracle) או במערכת קבצים (כמו מקומי, NFS, AFS) ו לא HDFS . כתוצאה מכך, הצהרות HiveQL אשר רק ניגשים מטא נתונים אובייקטים מבוצעים עם חביון נמוך מאוד. עם זאת, Hive צריך לשמור במפורש על עקביות ביניהם מטא נתונים ונתונים.
מוּמלָץ:
האם Presto צריך כוורת?
הפורמטים הבאים של קבצים נתמכים: טקסט, SequenceFile, RCFile, ORC ופרקט. בנוסף, יש צורך ב-Hive metastore מרוחק. מצב מקומי או מוטבע אינו נתמך. Presto אינו משתמש ב-MapReduce ולכן דורש רק HDFS