इस युग में, ट्रांसफॉर्मर सबसे शक्तिशाली मॉडल हैं जिन्होंने कई एनएलपी (प्राकृतिक भाषा प्रसंस्करण) संचालन में सर्वोत्तम परिणाम प्रदान किए हैं। प्रारंभ में, इसका उपयोग पाठ निर्माण के साथ-साथ वर्गीकरण, मशीनी अनुवाद और कई अन्य भाषा मॉडलिंग कार्यों के लिए किया गया था। लेकिन अब, इसका उपयोग वस्तु पहचान, छवि वर्गीकरण और कई अन्य कंप्यूटर विज़न कार्यों के लिए भी किया जाता है।
इस ट्यूटोरियल में, हम ट्रांसफॉर्मर का उपयोग करके टेक्स्ट वर्गीकरण करने की प्रक्रिया प्रदान करेंगे।
ट्रांसफॉर्मर का उपयोग करके टेक्स्ट वर्गीकरण कैसे करें?
ट्रांसफॉर्मर का उपयोग करके पाठ वर्गीकरण करने के लिए, सबसे पहले, 'स्थापित करें' ट्रान्सफ़ॉर्मर दिए गए आदेश को निष्पादित करके लाइब्रेरी:
! रंज स्थापित करना ट्रान्सफ़ॉर्मर
जैसा कि आप देख सकते हैं, निर्दिष्ट लाइब्रेरी सफलतापूर्वक स्थापित की गई है:
फिर, आयात करें ' पाइपलाइन ' से ' ट्रान्सफ़ॉर्मर ' पुस्तकालय:
ट्रांसफार्मर से पाइपलाइन आयात करते हैं
यहां ही ' पाइपलाइन इसमें एनएलपी कार्य शामिल होगा जिसे हमें निष्पादित करने की आवश्यकता है और टोकननाइज़र के साथ इस ऑपरेशन के लिए वांछित ट्रांसफार्मर मॉडल शामिल होगा।
टिप्पणी: टोकननाइज़र का उपयोग टेक्स्ट पर प्रसंस्करण करने के लिए किया जाता है ताकि टेक्स्ट को टोकन में अलग करके मॉडल का इनपुट प्रदान किया जा सके।
उसके बाद, ' का उपयोग करें पाइपलाइन() 'फ़ंक्शन करें और इसे पास करें' शून्य-शॉट-वर्गीकरण एक तर्क के रूप में. इसके बाद, एक और पैरामीटर पास करें जो हमारा मॉडल है। हम फेसबुक का उपयोग कर रहे हैं ' बार्ट ” ट्रांसफार्मर मॉडल। यहां, हम टोकननाइज़र का उपयोग नहीं करते हैं क्योंकि इसे निर्दिष्ट मॉडल द्वारा स्वचालित रूप से अनुमान लगाया जा सकता है:
text_classifier = पाइपलाइन ( 'शून्य-शॉट-वर्गीकरण' , नमूना = 'फ़ेसबुक/बार्ट-लार्ज-एमएनएलआई' )
अब, घोषित करें ' स्व-परीक्षा प्रश्न 'वेरिएबल जो हमारे इनपुट टेक्स्ट को रखता है जिसे वर्गीकृत करने की आवश्यकता है। फिर, हम वे श्रेणियाँ प्रदान करते हैं जिनमें हम पाठ को वर्गीकृत करना चाहते हैं और 'में सहेजना चाहते हैं' प्रयोगशाला जिसे लेबल के रूप में जाना जाता है:
प्रयोगशाला = [ 'अद्यतन' , 'गलती' , 'महत्वपूर्ण' , 'सत्यापन' ]
अंत में, इनपुट के साथ पाइपलाइन चलाएँ:
पाइपलाइन को क्रियान्वित करने के बाद, जैसा कि आप देख सकते हैं कि मॉडल ने हमारे प्रदत्त अनुक्रम को वर्गीकृत करने की भविष्यवाणी की है:
अतिरिक्त जानकारी: यदि आप मॉडल के प्रदर्शन को तेज़ करना चाहते हैं, तो आपको GPU का उपयोग करना होगा। यदि हां, तो, उस उद्देश्य के लिए, आप पाइपलाइन के लिए एक डिवाइस तर्क निर्दिष्ट कर सकते हैं और इसे 'पर सेट कर सकते हैं' 0 'जीपीयू का उपयोग करने के लिए।
यदि आप टेक्स्ट को एक से अधिक अनुक्रम/इनपुट टेक्स्ट स्टेटमेंट पर वर्गीकृत करना चाहते हैं, तो आप उन्हें एक सूची में जोड़ सकते हैं और इसे पाइपलाइनों में इनपुट के रूप में पास कर सकते हैं। उस उद्देश्य के लिए, कोड स्निपेट देखें:
स्व-परीक्षा प्रश्न = [ 'स्पष्टता, सुसंगतता और त्रुटि मुक्त सामग्री सुनिश्चित करने के लिए प्रूफरीडिंग और संपादन आवश्यक घटक हैं' ,'इस आधुनिक युग में, लेखों को अच्छी रैंक देने और व्यापक दर्शकों तक पहुंचने के लिए एसईओ अनुकूलन आवश्यक है' ]
text_classifier ( स्व-परीक्षा प्रश्न , प्रयोगशाला )
उत्पादन
इतना ही! हमने ट्रांसफॉर्मर का उपयोग करके पाठ वर्गीकरण करने का सबसे आसान तरीका संकलित किया है।
निष्कर्ष
ट्रांसफार्मर का उपयोग भाषा मॉडलिंग कार्यों, जैसे पाठ निर्माण, पाठ वर्गीकरण और मशीन अनुवाद, साथ ही वस्तु पहचान और छवि वर्गीकरण सहित कंप्यूटर विज़न कार्यों को करने के लिए किया जाता है। इस ट्यूटोरियल में, हमने ट्रांसफॉर्मर का उपयोग करके टेक्स्ट वर्गीकरण करने की प्रक्रिया का वर्णन किया है।