PyTorch में पूर्व-प्रशिक्षित मॉडल कैसे आयात करें?

Pytorch Mem Purva Prasiksita Modala Kaise Ayata Karem



PyTorch में मशीन लर्निंग मॉडल लाखों पंक्तियों और टेराबाइट्स डेटा के साथ बेहद जटिल और विस्तृत हो सकते हैं। प्रशिक्षण में उपयोग किया जाने वाला डेटासेट जितना बड़ा और विविध होगा, मॉडल के अनुमान उतने ही बेहतर होंगे। नए डेटा से निष्कर्ष निकालने के लिए पहले से प्रशिक्षित मॉडल का उपयोग करने में सक्षम होना महत्वपूर्ण है क्योंकि यह संसाधनों को बचा सकता है और उसी सावधानीपूर्वक तैयार किए गए मॉडल का उपयोग कर सकता है।

इस ब्लॉग में, हम PyTorch में पूर्व-प्रशिक्षित मॉडल को आयात करने के दो तरीकों पर चर्चा करेंगे।

Torchvision का उपयोग करके PyTorch में पूर्व-प्रशिक्षित मॉडल कैसे आयात करें?

टॉर्चविज़न लाइब्रेरी का उपयोग PyTorch में पूर्व-प्रशिक्षित मॉडल आयात करने के लिए किया जा सकता है। यह प्राथमिक का एक उपखंड है ' मशाल 'लाइब्रेरी और इसमें पहले से संकलित डेटासेट और प्रशिक्षित मॉडल की कार्यक्षमता शामिल है। यह लाइब्रेरी उपयोगकर्ताओं को उन मॉडलों को कॉल करने की क्षमता प्रदान करती है जिन्हें बड़े डेटासेट पर प्रशिक्षित किया गया है। ये पूर्व-प्रशिक्षित मॉडल नए डेटा पर लागू किए जा सकते हैं और लंबे और असहनीय प्रशिक्षण लूप की आवश्यकता के बिना वैध निष्कर्ष प्रदान कर सकते हैं।







Torchvision का उपयोग करके PyTorch में पूर्व-प्रशिक्षित मॉडल को आयात करने का तरीका जानने के लिए नीचे दिए गए चरणों का पालन करें:



चरण 1: Google Colab खोलें
कोलैबोरेटरी पर जाएँ वेबसाइट Google द्वारा बनाया गया और 'शुरू करें' नई नोटबुक 'परियोजना शुरू करने के लिए:







चरण 2: आवश्यक पुस्तकालय आयात करें
एक बार Colab IDE स्थापित हो जाने के बाद, पहला कदम प्रोजेक्ट में आवश्यक लाइब्रेरीज़ को स्थापित और आयात करना है:

! पिप टॉर्च स्थापित करें

आयात मशाल
आयात टॉर्चविज़न
आयात टॉर्चविज़न. मॉडल

उपरोक्त कोड इस प्रकार काम करता है:



  • रंज 'पायथन के लिए पैकेज इंस्टॉलर का उपयोग' को स्थापित करने के लिए किया जाता है मशाल ' पुस्तकालय।
  • अगला, ' आयात 'कमांड का उपयोग लाइब्रेरी को कोलाब प्रोजेक्ट में आयात करने के लिए किया जाता है।
  • फिर ' टॉर्चविज़न 'लाइब्रेरी को प्रोजेक्ट में आयात किया गया है। इसमें डेटासेट और मॉडल के लिए कार्यक्षमता शामिल है।
  • टॉर्चविजन.मॉडल 'मॉड्यूल में पूर्व-प्रशिक्षित मॉडलों का वर्गीकरण शामिल है जैसे कि अवशिष्ट तंत्रिका नेटवर्क' रेसनेट ”:

चरण 3: पूर्व-प्रशिक्षित मॉडल आयात करें
कोड की नीचे दी गई पंक्ति का उपयोग करके 'torchvision.models' पैकेज में सहेजे गए पूर्व-प्रशिक्षित मॉडल को आयात करें:

पूर्व_प्रशिक्षित_मॉडल = टॉर्चविज़न. मॉडल . गंभीर50 ( पूर्व प्रशिक्षित = सत्य )

उपरोक्त कोड की पंक्ति इस प्रकार काम करती है:

  • एक वेरिएबल को परिभाषित करें और इसे संदर्भ के लिए एक उपयुक्त नाम दें जैसे कि “पूर्व_प्रशिक्षित_मॉडल” .
  • उपयोग 'मशालविजन.मॉडल' जोड़ने के लिए मॉड्यूल ' रेसनेट ' नमूना।
  • जोड़ें ' गंभीर50 'मॉडल और सेट करें' पूर्वप्रशिक्षित = सत्य 'इसके तर्क के रूप में:

इसके बाद 'प्रिंट()' विधि का उपयोग करके पूर्व-प्रशिक्षित मॉडल को आउटपुट के रूप में देखें:

छपाई ( पूर्व_प्रशिक्षित_मॉडल )

टिप्पणी : आप हमारे कोलाब नोटबुक तक पहुंच सकते हैं जो इस पर टॉर्चविज़न का उपयोग करके पूर्व-प्रशिक्षित PyTorch मॉडल के आयात का विवरण देता है जोड़ना .

हगिंग फेस डेटाबेस से पूर्व-प्रशिक्षित PyTorch मॉडल कैसे आयात करें?

पूर्व-प्रशिक्षित मॉडल को आयात करने का एक अन्य तरीका इसे हगिंग फेस प्लेटफ़ॉर्म से प्राप्त करना है। हगिंग फेस पूर्व-प्रशिक्षित मॉडल और डेटा वैज्ञानिकों और प्रोग्रामर के लिए उपलब्ध बड़े डेटासेट के लिए सबसे लोकप्रिय ऑनलाइन डेटाबेस में से एक है।

हगिंग फेस डेटासेट से पूर्व-प्रशिक्षित PyTorch मॉडल आयात करने के लिए नीचे दिए गए चरणों का पालन करें:

चरण 1: एक कोलाब नोटबुक लॉन्च करें और आवश्यक लाइब्रेरी स्थापित और आयात करें
पहला कदम कोलाब आईडीई में एक नोटबुक लॉन्च करना और 'का उपयोग करके लाइब्रेरी स्थापित करना है' रंज 'पैकेज इंस्टॉलर और' का उपयोग करके उन्हें आयात करें आयात ' आज्ञा:

! पिप टॉर्च स्थापित करें
! पिप ट्रांसफार्मर स्थापित करें

आयात मशाल
आयात ट्रान्सफ़ॉर्मर
ट्रांसफार्मर से आयात ऑटोमॉडल

इस परियोजना में निम्नलिखित पुस्तकालयों की आवश्यकता है

  • मशाल “लाइब्रेरी आवश्यक PyTorch लाइब्रेरी है।
  • ट्रान्सफ़ॉर्मर लाइब्रेरी में हगिंग फेस, उसके मॉडल और उसके डेटासेट की कार्यक्षमता शामिल है:

चरण 2: हगिंग फेस से मॉडल आयात करें
इस उदाहरण में, मॉडल को 'से आयात किया जाना है' आलिंगन करता हुआ चेहरा “डेटाबेस इस पर उपलब्ध है जोड़ना . उपयोग ' ऑटोमॉडल.from_pretrained() 'हगिंग फेस से पूर्व-प्रशिक्षित मॉडल को आयात करने की विधि जैसा कि नीचे दिखाया गया है:

पूर्व_प्रशिक्षित_मॉडल_नाम = 'हेलसिंकी-एनएलपी/ओपस-एमटी-एन-ज़ह'
पूर्व_प्रशिक्षित_मॉडल = ऑटोमॉडल। from_pretrained ( पूर्व_प्रशिक्षित_मॉडल_नाम )

छपाई ( पूर्व_प्रशिक्षित_मॉडल )

उपरोक्त कोड इस प्रकार काम करता है:

  • हगिंग फेस प्लेटफॉर्म पर इसकी वेबसाइट से मॉडल का नाम कॉपी करें और इसे '' पर असाइन करें। पूर्व_प्रशिक्षित_मॉडल_नाम कोलाब में परिवर्तनशील।
  • फिर, 'का उपयोग करें ऑटोमॉडल.from_pretrained() ”विधि और मॉडल नाम चर को उसके तर्क के रूप में इनपुट करें।
  • अंत में, का उपयोग करें “प्रिंट() आउटपुट में आयातित मॉडल को प्रदर्शित करने की विधि।

हगिंग फेस से आयातित पूर्व-प्रशिक्षित मॉडल निम्नलिखित आउटपुट दिखाएगा:

टिप्पणी : आप हगिंग फेस से पूर्व-प्रशिक्षित मॉडल को आयात करने के तरीके के बारे में विस्तार से बताने वाली हमारी कोलाब नोटबुक तक पहुंच सकते हैं जोड़ना .

प्रो टिप

हगिंग फेस बड़े डेटासेट और जटिल मॉडलों का एक मूल्यवान संग्रह है जो गहन शिक्षण परियोजनाओं में उपयोग के लिए सभी के लिए निःशुल्क है। आप दूसरों के उपयोग के लिए अपने स्वयं के डेटासेट भी अपलोड कर सकते हैं और प्लेटफ़ॉर्म को दुनिया भर के डेटा वैज्ञानिकों और डेवलपर्स के बीच सहयोग के लिए तैयार किया गया है।

सफलता! हमने दिखाया है कि टॉर्चविज़न लाइब्रेरी का उपयोग करके या ट्रांसफॉर्मर लाइब्रेरी का उपयोग करके हगिंग फेस डेटाबेस से पूर्व-प्रशिक्षित PyTorch मॉडल को कैसे आयात किया जाए।

निष्कर्ष

PyTorch में पूर्व-प्रशिक्षित मॉडल आयात करने के लिए, उपयोगकर्ता या तो टॉर्चविज़न लाइब्रेरी का उपयोग कर सकते हैं या Google Colab में ट्रांसफॉर्मर लाइब्रेरी का उपयोग करके हगिंग फेस ऑनलाइन डेटाबेस से कर सकते हैं। इन पूर्व-प्रशिक्षित मॉडलों का उपयोग प्रशिक्षण में मूल्यवान समय और हार्डवेयर संसाधनों को खर्च करने से बचने और विश्वसनीय अनुमानों के लिए सीधे नए डेटा का परीक्षण करने के लिए किया जाता है। इस ब्लॉग में, हमने PyTorch में पूर्व-प्रशिक्षित मॉडल आयात करने के दो तरीके दिखाए हैं।