האם s3 מבוסס על HDFS?
האם s3 מבוסס על HDFS?

וִידֵאוֹ: האם s3 מבוסס על HDFS?

וִידֵאוֹ: האם s3 מבוסס על HDFS?
וִידֵאוֹ: Which filesystem to use HDFS or Amazon S3 2024, נוֹבֶמבֶּר
Anonim

S3 הוא למעשה אחסון אינסופי בענן אבל HDFS לא. HDFS מתארח במכונות פיזיות, כך שתוכל להפעיל שם כל תוכנית. אתה לא יכול לבצע שום דבר על S3 כ-Object Store שלו בלבד ולא FS.

אם כך, האם s3 היא מערכת קבצים מבוזרת?

S3 אינו א מערכת קבצים מבוזרת . זהו מאגר אובייקטים בינארי המאחסן נתונים בזוגות מפתח-ערך. זה בעצם סוג של מסד נתונים NoSQL. כל דלי הוא "מסד נתונים" חדש, כאשר מפתחות הם "נתיב התיקייה" שלך והערכים הם האובייקטים הבינאריים ( קבצים ).

אפשר גם לשאול, האם AWS מבוסס על Hadoop? Hadoop היא מסגרת המסייעת בעיבוד מערכי נתונים גדולים על פני מספר מחשבים. זה כולל Map/Reduce (עיבוד מקביל) ו HDFS (מערכת קבצים מבוזרת). AWS הוא מחסן נתונים בנוי על גבי טכנולוגיה קניינית שפותחה במקור על ידי ParAccel.

מלבד זה, איך אני מעביר קבצים מ-s3 ל-HDFS?

תשובה. אין ישיר דרך להעתיק קבצים מ-S3 ל-HDFS בלי לעבור דרך מקומית קבצים . עם זאת, אתה יכול להשתמש ברכיב tSystem ב-Job רגיל כדי לקרוא ל-native Hadoop פקודה שאתה בדרך כלל משתמש בה להעתיק קבצים , לדוגמה, s3 -dist-cp.

מה זה מסד נתונים s3?

אֲמָזוֹנָה S3 או Amazon Simple Storage Service הוא שירות המוצע על ידי Amazon Web Services (AWS) המספק אחסון אובייקטים באמצעות ממשק שירות אינטרנט. אֲמָזוֹנָה S3 משתמש באותה תשתית אחסון ניתנת להרחבה שבה Amazon.com משתמשת להפעלת רשת המסחר האלקטרוני הגלובלית שלה.

מוּמלָץ: