תוכן עניינים:

במה משתמש sqoop כדי לייבא ולייצא את הנתונים?
במה משתמש sqoop כדי לייבא ולייצא את הנתונים?

וִידֵאוֹ: במה משתמש sqoop כדי לייבא ולייצא את הנתונים?

וִידֵאוֹ: במה משתמש sqoop כדי לייבא ולייצא את הנתונים?
וִידֵאוֹ: Sqoop Import - Simple example 2024, מאי
Anonim

סקופ הוא כלי שנועד להעביר נתונים בין Hadoop למאגרי מידע יחסיים. סקופ הופך את רוב התהליך הזה לאוטומטי, בהסתמך על מאגר מידע כדי לתאר את הסכימה עבור נתונים להיות מְיוֹבָּא . Sqoop משתמש MapReduce ל לייבא ולייצא את הנתונים , המספק פעולה מקבילה כמו גם סובלנות לתקלות.

מכאן, כיצד אוכל לייצא נתונים מ-sqoop?

מתחילים

  1. שלב 1: צור מסד נתונים חדש במופע MySQL. CREATE DATABASE db1;
  2. צור טבלה בשם acad.
  3. שלב 3: ייצא את קובץ input.txt ו-input2.txt מ-HDFS ל-MySQL. sqoop export –connect jdbc:mysql://localhost/db1 –username sqoop –password root –table acad –export-dir /sqoop_msql/ -m 1.

כמו כן, איך עובד sqoop export? סקופ - ייצוא Sqoop ייצוא הפקודה מכינה הצהרות INSERT עם סט נתוני קלט ואז פוגעת במסד הנתונים. זה בשביל ייצוא רשומות חדשות, אם לטבלה יש קבוע ערך ייחודי עם המפתח הראשי, יְצוּא העבודה נכשלת כאשר הצהרת ה-insert נכשלת. אם יש לך עדכונים, אתה יכול להשתמש באפשרות --update-key.

באופן דומה, אנשים שואלים, איך אני מייבא נתונים לתוך sqoop?

הנה המשמעות של כל אפשרות פקודת Sqoop בנפרד:

  1. connect - מספק מחרוזת jdbc.
  2. שם משתמש - שם משתמש במסד נתונים.
  3. -P - יבקש את הסיסמה במסוף.
  4. table – אומר למחשב איזו טבלה ברצונך לייבא מ-MySQL.
  5. פיצול לפי - מציין את עמודת הפיצול שלך.
  6. target-dir - ספריית יעד HDFS.

מה זה ייבוא sqoop?

סקופ כלי ' יְבוּא ' רגיל ל יְבוּא נתוני טבלה מהטבלה למערכת הקבצים Hadoop כקובץ טקסט או קובץ בינארי. הפקודה הבאה משמשת יְבוּא טבלת ה-emp משרת מסד הנתונים של MySQL ל-HDFS.

מוּמלָץ: