וִידֵאוֹ: מה זה Emrfs?
2024 מְחַבֵּר: Lynn Donovan | [email protected]. שונה לאחרונה: 2023-12-15 23:47
מערכת הקבצים EMR ( EMRFS ) הוא יישום של HDFS שכל אשכולות Amazon EMR משתמשים בו לקריאה וכתיבת קבצים רגילים מאמזון EMR ישירות לאמזון S3. הצפנת נתונים מאפשרת לך להצפין אובייקטים EMRFS כותב לאמזון S3, ומאפשר EMRFS לעבוד עם אובייקטים מוצפנים באמזון S3.
לגבי זה, מהי הדעה העקבית של Emrfs?
ה תצוגה עקבית של EMRFS יוצר ומשתמש במטא נתונים בטבלת Amazon DynamoDB כדי לשמור על א השקפה עקבית של אובייקטי S3 שלך. טבלה זו עוקבת אחר פעולות מסוימות אך אינה מכילה אף אחד מהנתונים שלך.
מה ההבדל בין s3 ל-s3a? זה הבדל בין השלושה: s3 הוא שכבת-על מבוססת בלוק על גבי אמזון S3 , בעוד s3n/ s3a לא. אלה הם מבוססי אובייקטים. s3n תומך באובייקטים של עד 5GB כאשר הגודל הוא הדאגה, בעוד s3a תומך באובייקטים של עד 5TB ובעל ביצועים גבוהים יותר.
בהתאם, האם EMR משתמש ב-HDFS?
EMR מערכת קבצים (EMRFS) אתה יכול להשתמש אוֹ HDFS או Amazon S3 כמערכת הקבצים באשכול שלך. לרוב, אמזון S3 הוא משמש לאחסון נתוני קלט ופלט ותוצאות ביניים מאוחסנות ב HDFS.
מה זה s3a?
S3A (סכימת URI: s3a ) יורש ל- S3 Native, s3n fs, ה S3a : המערכת משתמשת בספריות של אמזון כדי ליצור איתן אינטראקציה S3 . זה מאפשר S3a לתמיכה בקבצים גדולים יותר (אין יותר מגבלה של 5GB), ביצועים גבוהים יותר ועוד.