यह मार्गदर्शिका एडब्ल्यूएस में सूची क्रॉलरों की व्याख्या करेगी।
AWS में लिस्ट-क्रॉलर क्या हैं?
क्रॉलर AWS गोंद का एक घटक है जिसका उपयोग डेटा स्थान पर क्रॉल करने के लिए किया जाता है और उस जानकारी को वापस कैटलॉग में भेज देता है। क्रॉलर जो जानकारी एकत्र करता है वह डेटा प्रकार, स्कीमा संरचना, या दूसरे शब्दों में, यह मेटाडेटा एकत्र करता है। क्रॉलर का उपयोग डेटा कैटलॉग के साथ भी किया जा सकता है जिसका उपयोग ईटीएल नौकरियों आदि का उपयोग करते समय डेटा को ग्लू इकोसिस्टम के अंदर ले जाने पर किया जाता है।
अमेज़न गोंद सेवा क्या है?
एडब्ल्यूएस ग्लू एक अमेज़ॅन एक्सट्रैक्ट ट्रांसफ़ॉर्म और लोड सेवा है जो उपयोगकर्ता को सभी डेटा को व्यवस्थित करने, पता लगाने, स्थानांतरित करने और बदलने की अनुमति देती है। एडब्ल्यूएस ग्लू सर्वर रहित है क्योंकि उपयोगकर्ता को सर्वर को प्रावधान और कॉन्फ़िगर करने या जीवन चक्र का प्रबंधन करने की आवश्यकता नहीं होती है। डेटा कैटलॉग और क्रॉलर AWS ग्लू के घटक हैं जो लगातार मेटाडेटा रिपॉजिटरी के रूप में कार्य करते हैं:
एडब्ल्यूएस पर क्रॉलर कैसे बनाएं?
AWS पर क्रॉलर बनाने के लिए, AWS प्रबंधन कंसोल से AWS Glue सेवा पर जाएँ:
में सिर क्रौलर ” पृष्ठ बाएं फलक से इसके नाम पर क्लिक करके:
पर क्लिक करें ' क्रॉलर बनाएँ ' बटन:
क्रॉलर का नाम टाइप करें और 'पर क्लिक करें' अगला ' बटन:
ग्लू टेबल के लिए मैपिंग विकल्प चुनें और 'पर क्लिक करें' एक स्रोत जोड़ें 'बटन से डेटा प्राप्त करने के लिए:
S3 सेवा का चयन करें और 'पर क्लिक करें' S3 ब्राउज़ करें स्रोत का स्थान प्राप्त करने के लिए बटन:
सीधे शब्दों में S3 फ़ोल्डर का चयन करें और 'पर क्लिक करें' चुनना ' बटन:
स्रोत में स्थान जोड़े जाने के बाद, बस 'पर क्लिक करें' एक S3 डेटा स्रोत जोड़ें ' बटन:
पर क्लिक करें ' अगला ' बटन:
पर क्लिक करें ' नई IAM भूमिका बनाएँ 'से' बटन सुरक्षा सेटिंग्स कॉन्फ़िगर करें ' अनुभाग:
भूमिका का नाम दर्ज करें और 'पर क्लिक करें' बनाएं ' बटन:
उसके बाद, बस 'पर क्लिक करें अगला ' बटन:
लक्ष्य डेटाबेस का चयन करें और वह नाम टाइप करें जिसका उपयोग तालिका के लिए किया जाएगा:
क्रॉलर को 'के लिए शेड्यूल करें मांग पर 'और' पर क्लिक करें अगला ' बटन:
कॉन्फ़िगरेशन की समीक्षा करें और 'पर क्लिक करें' क्रॉलर बनाएँ ' बटन:
क्रॉलर सफलतापूर्वक बनाया गया है और इसका उपयोग 'पर क्लिक करके स्रोत से डेटा प्राप्त करने के लिए किया जा सकता है।' दौड़ना ' बटन:
यह सब AWS में सूची क्रॉलर के बारे में है।
निष्कर्ष
ListCrawler AWS Glue सेवा का घटक है जिसका उपयोग स्रोतों से जानकारी क्रॉल करने और कैटलॉग पर वापस जाने के लिए किया जा सकता है। डेटा कैटलॉग और क्रॉलर का उपयोग डेटा के बारे में जानकारी प्राप्त करने के लिए डेटा एकत्र करने के लिए किया जा सकता है जिसे मेटाडेटा के रूप में जाना जाता है। उपयोगकर्ता S3 सेवा या अन्य स्रोतों से डेटा प्राप्त करने के लिए AWS गोंद से क्रॉलर भी बना सकता है और डेटाबेस में टेबल बना सकता है। इस गाइड ने AWS में ListCrawlers और उन्हें बनाने के तरीके के बारे में बताया है।