लैंगचेन में मैक्सिमल मार्जिनल प्रासंगिकता (एमएमआर) द्वारा चयन का उपयोग कैसे करें?

Laingacena Mem Maiksimala Marjinala Prasangikata Ema Ema Ara Dvara Cayana Ka Upayoga Kaise Karem



लैंगचेन एक मॉड्यूल है जिसका उपयोग प्राकृतिक भाषाओं में मनुष्यों के साथ बातचीत करने के लिए भाषा मॉडल बनाने के लिए किया जा सकता है। मनुष्य पाठ्य रूप में संकेत प्रदान करते हैं और मॉडल क्वेरी का उपयोग करके आउटपुट निकालने के लिए एक उदाहरण चयनकर्ता का उपयोग करता है। उदाहरण चयनकर्ताओं का उपयोग क्वेरी या प्रॉम्प्ट के निकटतम प्रासंगिक उदाहरण को चुनकर इनपुट के आधार पर आउटपुट लाने के लिए किया जाता है।

यह मार्गदर्शिका लैंगचेन में मैक्सिमल मार्जिनल प्रासंगिकता उदाहरण चयनकर्ता द्वारा चयन का उपयोग करने की प्रक्रिया का वर्णन करेगी।

लैंगचेन में मैक्सिमल मार्जिनल प्रासंगिकता (एमएमआर) द्वारा चयन का उपयोग कैसे करें?

मैक्सिमल मार्जिनल प्रासंगिकता उदाहरण चयनकर्ता का उपयोग प्रॉम्प्ट और उदाहरण की कोसाइन समानता का उपयोग करके जानकारी निकालने के लिए किया जाता है। कोसाइन समानता की गणना डेटा में एम्बेडिंग विधियों को लागू करने और टेक्स्ट को संख्यात्मक रूप में परिवर्तित करने के बाद की जाती है।







लैंगचेन में एमएमआर उदाहरण चयनकर्ता का उपयोग करने की प्रक्रिया सीखने के लिए, बस सूचीबद्ध चरणों से गुजरें:



चरण 1: मॉड्यूल स्थापित करें



पाइप कमांड का उपयोग करके लैंगचेन की निर्भरता स्थापित करके प्रक्रिया शुरू करें:





पाइप लैंगचैन स्थापित करें

OpenAIEmbedding() विधि को लागू करने के लिए इसके वातावरण का उपयोग करने के लिए OpenAI मॉड्यूल स्थापित करें:



पिप इंस्टाल ओपनाई

FAISS फ्रेमवर्क स्थापित करें जिसका उपयोग सिमेंटिक समानता का उपयोग करके आउटपुट प्राप्त करने के लिए किया जा सकता है:

पिप इंस्टाल faiss-gpu

अब, निम्नलिखित कोड का उपयोग करके टेक्स्ट को छोटे टुकड़ों में विभाजित करने के लिए टिकटोकन टोकननाइज़र स्थापित करें:

पिप टिकटोकन इंस्टॉल करें

चरण 2: पुस्तकालयों और उदाहरणों का उपयोग करना

अगला कदम MMR उदाहरण चयनकर्ता, FAISS, OpenAIEmbeddings और PromptTemplate के निर्माण के लिए पुस्तकालयों को आयात करना है। पुस्तकालयों को आयात करने के बाद, बस एक उदाहरण सेट बनाएं जो कई सरणियों में उनके संबंधित इनपुट के लिए इनपुट और आउटपुट देता है:

से लैंगचैन. संकेतों . उदाहरण_चयनकर्ता आयात (
MaxMarginalRelevanceExampleSelector ,
अर्थपूर्णसमानताउदाहरणचयनकर्ता ,
)
से लैंगचैन. वेक्टरस्टोर्स आयात FAISS
से लैंगचैन. एम्बेडिंग आयात ओपनएआईएम्बेडिंग्स
से लैंगचैन. संकेतों आयात फ्यूशॉटप्रॉम्प्टटेम्पलेट , संकेत टेम्पलेट

example_prompt = संकेत टेम्पलेट (
इनपुट_चर = [ 'इनपुट' , 'आउटपुट' ] ,
खाका = 'इनपुट: {इनपुट} \एन आउटपुट: {आउटपुट}' ,
)

उदाहरण = [
{ 'इनपुट' : 'खुश' , 'आउटपुट' : 'उदास' } ,
{ 'इनपुट' : 'लंबा' , 'आउटपुट' : 'छोटा' } ,
{ 'इनपुट' : 'ऊर्जावान' , 'आउटपुट' : 'सुस्त' } ,
{ 'इनपुट' : 'धूप वाला' , 'आउटपुट' : 'उदास' } ,
{ 'इनपुट' : 'तूफ़ानी' , 'आउटपुट' : 'शांत' } ,
]

चरण 3: उदाहरण चयनकर्ता का निर्माण

अब, विभिन्न पैरामीटर वाले MaxMarginalRelevanceExampleSelector() विधि का उपयोग करके MMR उदाहरण चयनकर्ता बनाना शुरू करें:

उदाहरण_चयनकर्ता = MaxMarginalRelevanceExampleSelector. from_examples (
उदाहरण ,
ओपनएआईएम्बेडिंग्स ( ) ,
FAISS ,
= 2 ,
)
mmr_प्रॉम्प्ट = फ्यूशॉटप्रॉम्प्टटेम्पलेट (
उदाहरण_चयनकर्ता = उदाहरण_चयनकर्ता ,
example_prompt = example_prompt ,
उपसर्ग = 'प्रत्येक इनपुट का विलोम शब्द दीजिए' ,
प्रत्यय = 'इनपुट: {विशेषण} \एन आउटपुट:' ,
इनपुट_चर = [ 'विशेषण' ] ,
)

चरण 4: एमएमआर उदाहरण चयनकर्ता का परीक्षण

अधिकतम सीमांत प्रासंगिकता एमएमआर उदाहरण चयनकर्ता को इनपुट के साथ प्रिंट() विधि में कॉल करके परीक्षण करें:

छपाई ( mmr_प्रॉम्प्ट. प्रारूप ( विशेषण = 'चिंतित' ) )

चरण 5: सिमेंटिक सिमिलरिटी का उपयोग करना

यह चरण SemanticSimilarityExampleSelector() विधि का उपयोग करता है और फिर फ्यूशॉटप्रोम्प्टटेम्पलेट() विधि का उपयोग करता है जो लैंगचेन द्वारा समर्थित है:

उदाहरण_चयनकर्ता = अर्थपूर्णसमानताउदाहरणचयनकर्ता। from_examples (
उदाहरण ,
ओपनएआईएम्बेडिंग्स ( ) ,
FAISS ,
= 2 ,
)
समान_प्रॉम्प्ट = फ्यूशॉटप्रॉम्प्टटेम्पलेट (
उदाहरण_चयनकर्ता = उदाहरण_चयनकर्ता ,
example_prompt = example_prompt ,
उपसर्ग = 'प्रत्येक इनपुट का विलोम शब्द दीजिए' ,
प्रत्यय = 'इनपुट: {विशेषण} \एन आउटपुट:' ,
इनपुट_चर = [ 'विशेषण' ] ,
)
छपाई ( समान_प्रॉम्प्ट. प्रारूप ( विशेषण = 'चिंतित' ) )

यह लैंगचेन में मैक्सिमल मार्जिनल प्रासंगिकता या एमएमआर द्वारा चयन का उपयोग करने के बारे में है।

निष्कर्ष

लैंगचेन में मैक्सिमल मार्जिनल प्रासंगिकता या एमएमआर उदाहरण चयनकर्ता द्वारा चयन का उपयोग करने के लिए, आवश्यक मॉड्यूल स्थापित करें। उसके बाद, इनपुट और आउटपुट प्रॉम्प्ट टेम्पलेट का उपयोग करके उदाहरण सेट बनाने के लिए लाइब्रेरी आयात करें। प्रासंगिक आउटपुट प्राप्त करने के लिए एमएमआर उदाहरण चयनकर्ता और फ्यूशॉटप्रोम्प्टटेम्पलेट() विधि का उपयोग करके इसका परीक्षण करने के लिए एमएमआर उदाहरण चयनकर्ता बनाएं। इस गाइड ने लैंगचेन में चयन-दर-एमएमआर उदाहरण चयनकर्ता का उपयोग करने की प्रक्रिया का वर्णन किया है।