अमेज़न रेडशिफ्ट डेटा वेयरहाउस सिस्टम आर्किटेक्चर क्या है?

डेटाबेस और डेटा वेयरहाउस में डेटा को होस्ट करना और प्रबंधित करना हमेशा एक व्यस्त और परेशानी भरा काम रहा है। डेटा को समझने के लिए बहुत सारे संसाधनों और कम्प्यूटेशनल शक्ति की आवश्यकता होती है। अमेज़ॅन वेब सर्विसेज के पास इस उद्देश्य के लिए वन-स्टॉप समाधान है। इसकी Amazon Redshift नाम की एक सेवा है जो उपयोगकर्ताओं के डेटा वेयरहाउस को पूरी तरह से प्रबंधित करती है।

यह लेख अमेज़ॅन रेडशिफ्ट के साथ-साथ उसके डेटा वेयरहाउस आर्किटेक्चर के बारे में विस्तार से बताएगा। रेडशिफ्ट के डेटा वेयरहाउस सिस्टम आर्किटेक्चर के सभी घटकों को विस्तार से समझाया जाएगा।

अमेज़न रेडशिफ्ट क्या है?

आईटी अमेज़न द्वारा प्रदान की जाने वाली एक डेटा वेयरहाउसिंग सेवा है। यह एनालिटिक्स और रिपोर्टिंग के लिए बड़े डेटासेट का कुशलतापूर्वक प्रबंधन और विश्लेषण करता है। इसे स्तंभ भंडारण मॉडल पर बनाया गया है। यह उच्च-प्रदर्शन डेटा प्रोसेसिंग प्रदान करने के लिए लीडर नोड द्वारा नियंत्रित कंप्यूट नोड्स के समूहों का उपयोग करता है।

यह विभिन्न स्रोतों से डेटा लेता है और उसे डेटा वेयरहाउस बनाने के लिए एकत्रित करता है। यह डेटा साझाकरण और वास्तविक समय विश्लेषण जैसी विभिन्न सुविधाएँ प्रदान करता है। Amazon Redshift की विशेषताओं और क्षमताओं को समझने के लिए नीचे दी गई छवि देखें:

आइए अब हम इसके डेटा वेयरहाउस सिस्टम आर्किटेक्चर की ओर बढ़ते हैं।

अमेज़न रेडशिफ्ट डेटा वेयरहाउस सिस्टम आर्किटेक्चर क्या है?

इस सिस्टम आर्किटेक्चर के तीन मुख्य भाग हैं। ये भाग हैं:

• भंडारण
• त्वरण
• गणना

आइए उनके उद्देश्यों को समझें:

भंडारण
भंडारण भाग रेडशिफ्ट की भंडारण सेवाओं से संबंधित है। इसका अपना प्रबंधित भंडारण सेवा विकल्प और साथ ही S3 बकेट विकल्प भी है।

त्वरण
त्वरण भाग उपयोग में आने वाली भंडारण सेवा और नियोजित कम्प्यूटेशनल शक्ति पर निर्भर है। रेडशिफ्ट-प्रबंधित स्टोरेज अन्य स्टोरेज विकल्पों की तुलना में तेज़ है

गणना
गणना भाग पूरी तरह से उपयोग में आने वाली कंप्यूटिंग शक्ति से संबंधित है। गणना क्लस्टर के साथ की जाती है और क्लस्टर में नोड होते हैं। बदले में नोड्स में स्लाइस होते हैं।

इस वास्तुकला के सभी तत्वों और घटकों को बेहतर ढंग से समझने के लिए, नीचे दी गई छवि देखें:

आइये इसके घटकों को एक-एक करके समझते हैं।

अमेज़न रेडशिफ्ट के वास्तुशिल्प घटक क्या हैं?

Amazon Redshift के वास्तुशिल्प घटक निम्नलिखित हैं:

• कलस्टरों
• नोड्स
• नोड स्लाइस
• भंडारण
• आंतरिक नेटवर्क
• डेटाबेस

आइए इन पर एक-एक करके चर्चा करें:

कलस्टरों
क्लस्टर मौलिक और मुख्य इकाई है। इसमें कई नोड्स शामिल हैं। यदि किसी क्लस्टर में कई कंप्यूट नोड्स होते हैं, तो एक अतिरिक्त लीडर नोड इन कंप्यूट नोड्स की गतिविधियों को समन्वयित करने और बाहरी संचार का प्रबंधन करने के लिए कदम उठाता है।

नोड्स

क्लस्टर में नोड दो प्रकार के होते हैं। ये हैं:

• लीडर नोड
• नोड की गणना करें

आइए इन्हें एक-एक करके समझें:

लीडर नोड
यह क्लाइंट प्रोग्राम के साथ संचार का प्रबंधन करता है और कंप्यूट नोड्स के साथ इंटरैक्शन का समन्वय करता है। लीडर नोड जटिल प्रश्नों को निष्पादित करने में महत्वपूर्ण भूमिका निभाता है। यह निष्पादन योजना के आधार पर कोड संकलित करता है जो नोड्स की गणना करने के लिए वितरित किया जाता है और प्रत्येक व्यक्तिगत गणना नोड को डेटा भाग निर्दिष्ट करता है।

नोड की गणना करें
कंप्यूट नोड्स अमेज़न रेडशिफ्ट के आर्किटेक्चर की रीढ़ हैं। वे डेटा का भंडारण और प्रसंस्करण दोनों करते हैं। इनमें मेमोरी और सीपीयू जैसे समर्पित संसाधन हैं।

नोड स्लाइस
कंप्यूट नोड्स को आगे स्लाइस में विभाजित किया गया है। ये स्लाइस असाइन किए गए कार्यभार को संसाधित करने और क्वेरी प्रोसेसिंग को बढ़ाने के लिए समानता प्राप्त करने के लिए एक साथ काम करते हैं।

भंडारण
अमेज़ॅन रेडशिफ्ट के भीतर डेटा स्टोरेज को 'रेडशिफ्ट मैनेज्ड स्टोरेज (आरएमएस)' द्वारा प्रबंधित किया जाता है। इसमें 'अमेज़ॅन S3' स्टोरेज का उपयोग करके स्टोरेज को स्वतंत्र रूप से स्केल करने की क्षमता है। आरएमएस टियर-1 कैश के रूप में उच्च-प्रदर्शन एसएसडी-आधारित स्थानीय स्टोरेज का उपयोग करता है जो प्रदर्शन को अनुकूलित करता है।

आंतरिक नेटवर्क
अमेज़ॅन रेडशिफ्ट में यह आंतरिक नेटवर्क लीडर नोड्स और कंप्यूट नोड्स के बीच त्वरित और सुरक्षित संचार में मदद करता है। यह नेटवर्क क्लाइंट अनुप्रयोगों के लिए सीधे पहुंच योग्य नहीं है।

डेटाबेस
क्लस्टर में एक या अधिक डेटाबेस होते हैं। इन डेटाबेस से डेटा कंप्यूट नोड्स पर है। क्लाइंट एप्लिकेशन लीडर नोड के साथ संचार करते हैं। कंप्यूट नोड कंप्यूट नोड्स में क्वेरी निष्पादन का प्रबंधन करता है।

यह सब अमेज़ॅन रेडशिफ्ट और इसके वास्तुशिल्प तत्वों के बारे में है। इस लेख में Amazon Redshift के कार्य घटकों को व्यापक रूप से समझाया गया है

निष्कर्ष

अमेज़ॅन रेडशिफ्ट की वास्तुकला ही वह कारण है जिस पर इसकी क्षमताएं टिकी हुई हैं। लीडर नोड कंप्यूट नोड्स को नियंत्रित और प्रबंधित करता है और नोड स्लाइस समानांतर प्रसंस्करण में मदद करते हैं। रेडशिफ्ट मैनेज्ड स्टोरेज प्रदर्शन को बढ़ाने के लिए एसएसडी-आधारित स्टोरेज का उपयोग करता है। इस लेख में Amazon Redshift डेटा वेयरहाउस सिस्टम आर्किटेक्चर की व्याख्या की गई है।