האם s3 מבוסס על HDFS?

2024 מְחַבֵּר: Lynn Donovan | [email protected]. שונה לאחרונה: 2023-12-15 23:47

S3 הוא למעשה אחסון אינסופי בענן אבל HDFS לא. HDFS מתארח במכונות פיזיות, כך שתוכל להפעיל שם כל תוכנית. אתה לא יכול לבצע שום דבר על S3 כ-Object Store שלו בלבד ולא FS.

אם כך, האם s3 היא מערכת קבצים מבוזרת?

S3 אינו א מערכת קבצים מבוזרת . זהו מאגר אובייקטים בינארי המאחסן נתונים בזוגות מפתח-ערך. זה בעצם סוג של מסד נתונים NoSQL. כל דלי הוא "מסד נתונים" חדש, כאשר מפתחות הם "נתיב התיקייה" שלך והערכים הם האובייקטים הבינאריים ( קבצים ).

אפשר גם לשאול, האם AWS מבוסס על Hadoop? Hadoop היא מסגרת המסייעת בעיבוד מערכי נתונים גדולים על פני מספר מחשבים. זה כולל Map/Reduce (עיבוד מקביל) ו HDFS (מערכת קבצים מבוזרת). AWS הוא מחסן נתונים בנוי על גבי טכנולוגיה קניינית שפותחה במקור על ידי ParAccel.

מלבד זה, איך אני מעביר קבצים מ-s3 ל-HDFS?

תשובה. אין ישיר דרך להעתיק קבצים מ-S3 ל-HDFS בלי לעבור דרך מקומית קבצים . עם זאת, אתה יכול להשתמש ברכיב tSystem ב-Job רגיל כדי לקרוא ל-native Hadoop פקודה שאתה בדרך כלל משתמש בה להעתיק קבצים , לדוגמה, s3 -dist-cp.

מה זה מסד נתונים s3?

אֲמָזוֹנָה S3 או Amazon Simple Storage Service הוא שירות המוצע על ידי Amazon Web Services (AWS) המספק אחסון אובייקטים באמצעות ממשק שירות אינטרנט. אֲמָזוֹנָה S3 משתמש באותה תשתית אחסון ניתנת להרחבה שבה Amazon.com משתמשת להפעלת רשת המסחר האלקטרוני הגלובלית שלה.