लैंगचेन में पेरेंट डॉक्यूमेंट रिट्रीवर का उपयोग कैसे करें?

यह पोस्ट लैंगचेन में मूल दस्तावेज़ रिट्रीवर का उपयोग करने की प्रक्रिया को प्रदर्शित करेगी।

लैंगचेन में पेरेंट डॉक्यूमेंट रिट्रीवर का उपयोग कैसे करें?

लैंगचेन में मूल दस्तावेज़ पुनर्प्राप्ति का उपयोग दस्तावेज़ों को छोटे टुकड़ों में विभाजित करके किया जा सकता है ताकि वे एम्बेडिंग के क्षणों में अपना अर्थ न खोएं। मूल दस्तावेज़ को संपूर्ण दस्तावेज़ या बड़ा हिस्सा कहा जा सकता है जिसमें से छोटे हिस्से निकाले जाते हैं।

लैंगचेन में मूल दस्तावेज़ रिट्रीवर का उपयोग करने की प्रक्रिया सीखने के लिए, बस इस गाइड को देखें:

चरण 1: मॉड्यूल स्थापित करें

सबसे पहले, पाइप कमांड का उपयोग करके लैंगचेन फ्रेमवर्क स्थापित करके मूल दस्तावेज़ रिट्रीवर का उपयोग शुरू करें:

दस्तावेज़ की एम्बेडिंग को सहेजने और उससे डेटा पुनर्प्राप्त करने के लिए क्रोमा डेटाबेस मॉड्यूल स्थापित करें:

टिकटोकन स्थापित करने के लिए जो एक टोकननाइज़र है जो छोटे टुकड़े बनाकर दस्तावेज़ के टोकन प्राप्त करता है:

इसकी निर्भरता और लाइब्रेरी प्राप्त करने के लिए पायथन नोटबुक पर निम्नलिखित कमांड निष्पादित करके ओपनएआई मॉड्यूल प्राप्त करें:

चरण 2: पर्यावरण सेटअप करें और डेटा अपलोड करें

अगला कदम है पर्यावरण स्थापित करें OpenAI खाते से API कुंजी का उपयोग करना:

अब, फ़ाइल लाइब्रेरी आयात करने के बाद स्थानीय सिस्टम से दस्तावेज़ अपलोड करें और फिर अपलोड() विधि को कॉल करें:

चरण 3: पुस्तकालय आयात करें

अगले चरण में लैंगचेन फ्रेमवर्क का उपयोग करके मूल दस्तावेज़ पुनर्प्राप्तिकर्ताओं का उपयोग करने के लिए आवश्यक पुस्तकालयों को आयात करने के लिए कोड शामिल है:

फ़ाइलों के पथ के साथ TextLoader() विधियों का उपयोग करके रिट्रीवर बनाने के लिए दस्तावेज़ को लोड करें:

चरण 4: संपूर्ण दस्तावेज़ पुनर्प्राप्त करना

एक बार दस्तावेज़/फ़ाइलें मॉडल में लोड हो जाने के बाद, बस दस्तावेज़ों की एम्बेडिंग बनाएं, और उन्हें वेक्टर स्टोर में संग्रहीत करें:

अब, दस्तावेज़ों तक पुनर्प्राप्ति प्राप्त करने के लिए पुनर्प्राप्तिकर्ता का उपयोग करके add_documents() विधि को कॉल करें:

निम्नलिखित कोड अपलोड की गई फ़ाइलों के लिए डेटाबेस में संग्रहीत दस्तावेज़ों के एम्बेडिंग को निकालता है:

दस्तावेज़ों की एम्बेडिंग प्राप्त करने के बाद, दस्तावेज़ से छोटे हिस्से प्राप्त करने के लिए क्वेरी के साथ समानता_खोज() विधि को कॉल करें:

क्वेरी के आधार पर पिछले कोड में बुलाए गए हिस्सों को प्रदर्शित करने के लिए प्रिंट() विधि को कॉल करें:

निम्नलिखित कोड का उपयोग करके डेटाबेस में संग्रहीत सभी टोकन प्राप्त करने के लिए रिट्रीवर() फ़ंक्शन को पूरा करें:

सभी दस्तावेज़ों को प्रिंट करने में बहुत अधिक समय और प्रसंस्करण शक्ति लगेगी, इसलिए पहले प्राप्त किए गए दस्तावेज़ों की लंबाई प्राप्त करें:

चरण 5: बड़े टुकड़े पुनः प्राप्त करना

इस चरण में संपूर्ण दस्तावेज़ नहीं लगेगा; हालाँकि, यह दस्तावेज़ से एक बड़ा चिपमंक लेगा और उसमें से एक छोटा हिस्सा पुनः प्राप्त करेगा:

में संग्रहीत डेटा के विशाल पूल से छोटे टोकन प्राप्त करने के लिए रिट्रीवर को कॉन्फ़िगर करें वेक्टरस्टोर ' चर:

का उपयोग करके वेक्टर स्टोर से बड़े हिस्से प्राप्त करने के लिए रिट्रीवर को कॉल करें डॉक्स फ़ंक्शन के तर्क में परिवर्तनीय:

इन दस्तावेजों की लंबाई यहां से प्राप्त करें डॉक्स नीचे दिए गए आदेश के माध्यम से परिवर्तनीय:

बस एक बड़े से एक छोटा हिस्सा प्राप्त करें क्योंकि पिछले स्क्रीनशॉट से पता चलता है कि वेक्टर स्टोर में 23 दस्तावेज़ संग्रहीत हैं। क्वेरी का उपयोग प्रासंगिक डेटा प्राप्त करने के लिए किया जाता है समानता_खोज() वेक्टर स्टोर से डेटा पुनर्प्राप्त करने की विधि:

पिछले कोड में उल्लिखित क्वेरी का उपयोग करके छोटे टुकड़ों को स्क्रीन पर प्रदर्शित करने के लिए प्रिंट करें:

अब, फ़ंक्शन के तर्क के रूप में क्वेरी का उपयोग करके डेटाबेस में संग्रहीत संपूर्ण डेटासेट पर रिट्रीवर का उपयोग करें:

डेटाबेस में निर्मित और संग्रहीत पूर्ण खंडों की लंबाई प्राप्त करें:

हम सभी खंडों को प्रदर्शित नहीं कर सकते, लेकिन सूचकांक संख्या 0 वाला पहला खंड निम्नलिखित कोड का उपयोग करके प्रदर्शित किया जाता है:

यह लैंगचेन में मूल दस्तावेज़ रिट्रीवर का उपयोग करने की प्रक्रिया के बारे में है।

निष्कर्ष

लैंगचेन में मूल दस्तावेज़ रिट्रीवर का उपयोग करने के लिए, बस मॉड्यूल स्थापित करें और इसकी एपीआई कुंजी का उपयोग करके ओपनएआई वातावरण सेट करें। उसके बाद, मूल दस्तावेज़ पुनर्प्राप्ति का उपयोग करने के लिए लैंगचेन से आवश्यक लाइब्रेरी आयात करें, और फिर मॉडल के लिए दस्तावेज़ लोड करें। उपयोगकर्ता मूल दस्तावेज़ों को संपूर्ण दस्तावेज़ या बड़े हिस्से के रूप में उपयोग कर सकता है और क्वेरी का उपयोग करके एक छोटा हिस्सा प्राप्त कर सकता है। इस पोस्ट में लैंगचेन में मूल दस्तावेज़ रिट्रीवर का उपयोग करने की प्रक्रिया के बारे में विस्तार से बताया गया है।