यह गाइड बताएगी कि S3 बकेट से डेटा लाने के लिए क्रॉलर कैसे बनाए जाते हैं।
S3 बकेट से डेटा लाने के लिए क्रॉलर कैसे बनाएं?
AWS में क्रॉलर बनाने के लिए, 'पर जाएँ' एडब्ल्यूएस गोंद 'अमेज़ॅन डैशबोर्ड से सेवा:
पर क्लिक करें ' डेटाबेस डेटाबेस बनाने के लिए डेटा कैटलॉग अनुभाग से बटन:
पर क्लिक करें ' डेटाबेस जोड़ें कॉन्फ़िगरेशन शुरू करने के लिए बटन:
डेटाबेस का नाम दर्ज करें और 'पर क्लिक करने से पहले सब कुछ छोड़ दें क्योंकि यह वैकल्पिक है।' डेटाबेस बनाएं ' बटन:
डेटाबेस सफलतापूर्वक बनाया गया है:
उसके बाद, बस 'के लिए सिर' क्रौलर ” पेज को बाएं पैनल से क्लिक करके:
पर क्लिक करें ' क्रॉलर बनाएँ ' बटन:
क्रॉलर का नाम टाइप करें और 'पर क्लिक करें' अगला ' बटन:
पर क्लिक करें ' डेटा स्रोत जोड़ें 'बटन डेटा के स्रोत का चयन करने के लिए:
पथ की जाँच करने के लिए जहाँ डेटा संग्रहीत है, S3 सेवा पर जाएँ:
S3 बकेट में जाएं जहां डेटा अपलोड किया गया है। उपयोगकर्ता कर सकता है बनाएं एक बाल्टी और डालना AWS S3 डैशबोर्ड से उस पर डेटा:
पर क्लिक करें ' S3 ब्राउज़ करें 'बटन डेटा का रास्ता चुनने के लिए:
डेटा वाले फ़ोल्डर का चयन करें, फिर 'पर क्लिक करें' चुनना ' बटन:
S3 पथ का चयन किया गया है, अब 'पर क्लिक करें' एक S3 डेटा स्रोत जोड़ें ' बटन:
एक बार डेटा स्रोत जुड़ जाने के बाद, बस 'पर क्लिक करें' अगला ' बटन:
IAM भूमिका जोड़ें और फिर 'पर क्लिक करें' अगला ' बटन:
पहले बनाए गए लक्ष्य डेटाबेस को दर्ज करें और फिर तालिका के लिए नाम टाइप करें:
क्रॉलर के लिए ऑन डिमांड शेड्यूल चुनें और 'पर क्लिक करें' अगला ' बटन:
क्रॉलर की समीक्षा करें और 'पर क्लिक करें' क्रॉलर बनाएँ ' बटन:
क्रॉलर सफलतापूर्वक बनाया गया है, 'पर क्लिक करें दौड़ना इसे चुनने के बाद बटन:
क्रॉलर को चलाने में कुछ समय लगेगा और यह डेटा प्राप्त करेगा और डेटा को स्टोर करने के लिए एक तालिका बनाएगा:
में सिर टेबल ' गोंद डैशबोर्ड से पेज:
तालिका के नाम पर क्लिक करके उसका चयन करें:
प्राप्त किए गए डेटा के मेटाडेटा वाले कहानी विवरण प्रदर्शित किए गए हैं:
पृष्ठ को नीचे स्क्रॉल करें और डेटा वाली तालिका देखने के लिए अनुभाग का चयन करें:
यह सब S3 बकेट से डेटा लाने के लिए क्रॉलर बनाने के बारे में है।
निष्कर्ष
S3 बकेट से डेटा लाने के लिए क्रॉलर बनाने के लिए, AWS Glue पर एक डेटाबेस बनाएं जिसमें क्रॉल किए गए डेटा को स्टोर किया जाएगा। डेटा का स्रोत (S3 बकेट) और लक्ष्य डेटाबेस प्रदान करके ग्लू डैशबोर्ड से क्रॉलर को कॉन्फ़िगर करें। क्रॉलर चलाएँ और डेटा को S3 बकेट से डेटाबेस टेबल पर लाएँ, जैसा कि इस गाइड ने अच्छी तरह से समझाया है।