Robots.txt File kya hai | WordPress में Robots.txt file कैसे Add करें?

आपको पता हैं Robots.txt File क्या है – Robots.txt file kya hai यदि आपका कोई Blog या Website हैं और या फिर आप अभी Blogging सिख रहे हैं! तो जरूर आपने Robots.txt फाइल के बारे में सुना होगा! Blog, Blogger और Blogging के लिए Robots.txt फाइल बहुत उपयोगी फाइल होती है!

यदि आप एक Blog Website चला रहे हैं तो कभी कभी आपने अनुभव किया होगा की आपके Website के सबसे अच्छे Blog Post काफी समय बाद भी Search Engine में Index नहीं हो पाते हैं! जबकि आपके Website की कुछ जानकारी जिसे आप Public नहीं करना चाहते हैं!

इसके बावजूद वह Information Search engine में index हो जाती हैं और Search engine page (SERP) में दिखाई देने लगती हैं! 

इससे आपकी website का Search Engine Optimization (SEO) बहुत ज्यादा प्रभावित हो जाता हैं!  

Robots.txt file kya hai in Hindi – [Robots.txt file ko kaise add krte hai]

असल में यह Robots.txt फाइल के कारण होता हैं! Robots.txt फाइल Google या अन्य Search engine को आपकी Website का कौन सा Content Index करना हैं! और कौन सा नहीं, बताता हैं!

Robots.txt file क्या है – Robots.txt File kya hai

यह फाइल एक बहुत ही Simple Text File होता हैं! Robots.txt File kya hai, इसे आप Robots.txt File के फॉर्मेट .txt से भी यह समझ गये होंगे! यह फाइल आपके website के Document Root Folder में मौजूद होता हैं!

Search Engine आपकी website में आते ही सबसे पहले Robots.txt File को ढूढ़ता हैं क्योकि Robots.txt File ही Search Engine के Robots या Bots को बताता हैं की आपके Website के कौन – कौन से Web-Content को Visit करना है! या Crawl करना हैं और किसको नहीं!

Robots.txt file का Use क्यों करते है in Hindi

यदि आप अपनी Website के किसी Page या Folder को पब्लिक नहीं करना चाहते हैं! जैसे – कुछ Folders जिसमे Website की Sensitive Information होती हैं! या फिर आप अपने Website की Category और Tags को Index नहीं करना चाहते हैं तो आप अपने Website में Robots.txt का उपयोग कर सकते हैं!

उसके बाद जब भी कोई Search Engine Robots या Bots आपकी Website के Blog post को Index करना शुरू करेगा तो यह Robots.txt File उस Search Engine के bots को गाइड करेगा! और बताएगा की कौन – कौन से Files और Folders या फिर Web-Content Index करना हैं मतबल पब्लिक करना हैं! और कौन सा नहीं!

क्या Robots.txt File जरुरी है in Hindi

Kya Robots.txt file jaruri hai: मै आपको बताना चाहूंगा की Robots.txt File का Website में उपयोग करना mandatory नहीं हैं!

लेकिन इस साधारण फाइल का उपयोग करने से आप अपनी Website को SEO Friendly बनाते हैं! और साथ ही साथ आपकी Website की Security के लिए भी यह जरुरी होता हैं!

You May Like: Blog, Blogger और Blogging क्या है? – Best Blogging Platform 2020

You May Like: WordPress में फ्री में ब्लॉग वेबसाइट कैसे बनाते हैं

Robots.txt file को कैसे बनाते है – robots.txt generator wordpress

Robots.txt फाइल को समझने के बाद प्रश्न यह आता हैं! की आखिर Robots.txt file ko kaise banaye. इसे बनाने के लिए आप सबसे पहले अपने Computer में एक Text File बनाइये! और उस फाइल को Robots.txt के नाम से Save कर लीजिये! यह कार्य आप Notepad या WordPad से कर सकते हैं!

उसके बाद आप निचे दिए गए कोड को इस फाइल में लिख सकते हैं! यह Robots.txt File का एक सैंपल हैं! और यह एक साधाहरण WordPress Website के लिए Recommended Rules कोड भी हैं! केवल आपको Website के जगह पर आपने Blog Website का नाम लिखना हैं!

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
 
Sitemap: https://www.Website.com/post-sitemap.xml
Sitemap: https://www.Website.com/page-sitemap.xml

आप इसमें अपने Website के अनुसार बदलाव कर सकते हैं Robots.txt File को Edit करने से पहले आपको इसके Syntax को जान लेना चाहिए! ताकि आप समझ सके की दरअसल यह फाइल Search Engine को क्या कमांड देती हैं!

Robots.txt file का Basic Syntax क्या है

Robots.txt File को लिखने का एक तरीका होता हैं Technical भाषा में Syntax कहते हैं! इस Simple File का Syntax कुछ इस तरह से होता हैं!

• User-agent:  यहा पर उस बोट्स का नाम लिखते हैं जिसके लिए आप ये Rules लिख रहे हैं! अर्थात जिस पर ये Rules लागु होंगे! यदि आप यहा पर “*” का उपयोग करते हैं! तो इसका मतलब रूल्स सभी सर्च इंजन बोट्स के लिए लागु होंगे!

• Allow:  यहा पर Page, Folder, या Web-Content का Path लिखते हैं जिन्हे आप Hide करना चाहते हैं! अर्थात जिनको आप Index करना नहीं चाहते है!

• Disallow: यहा पर Page, Folder, या Web-Content का Path जिन्हे आप Public करना चाहते है अर्थात जिनको आप Index करवाना चाहते हैं! 

WordPress robots.txt example

तो आइये उदाहरण के माध्यम से समझ लेते है जो की इस प्रकार है:

• Example 1. यदि आप सभी सर्च इंजन बोट्स को अपनी वेबसाइट Crawl करने के लिए Allow करना चाहते हैं!

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

• Example 2. यदि आप केवल Google के Search Engine Bots को अपनी वेबसाइट Crawl करने के लिए Allow करना चाहते हैं!

User-Agent: *
disallow: /

User-Agent: googlebot
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

WordPress में Robots.txt file कैसे Add करें? – WordPress me robots txt file kaise add kare

Robots.txt file ko kese add krte hai: Robots.txt File को WordPress Blog Website में Add करना बहुत ही आसान Process हैं! इसे आप अलग अलग तरह से कर सकते हैं! जैसे-

Method 1. How to add Robots.txt file Using Yost Plugin

यदि आप अपने WordPress Website में Yost SEO Plugin का उपयोग करते हैं तो आप Yost SEO Plugin की Help से Robots.txt File को अपने Website में Add कर सकते हैं!

इसके लिए आप SEO Plugin में जाकर Tools में Click करके उसके बाद File Editor Option में Click करके Robots.txt File को बना सकते हो!

Method 2. How to add Robots.txt file from cPanel

Robots.txt file ko kese add krte hai: आप अपनी Website में Robots.txt File को cPanel से भी Add कर सकते हैं! इसके लिए आपके पास आपकी Website के cPanel का एक्सेस होना चाहिये!

cPanel का एक्सेस Hosting Provide करने वाली Company प्रोवाइड करती हैं! मै उम्मीद करता हूँ आपके पास cPanel का Username और Password मौजूद हैं!

Step 1. सबसे पहले cPanel में Login कीजिये!

• Step 2. जैसे ही आप cPanel में Login हो जाते हैं! उसके बाद आपको File के अंदर Files Manager में Click करना हैं!

Note: यहा पर आपके Website के सारे मह्त्वपूर्ण Files और Folder होते हैं ध्यान रहे आपको किसी भी Files और Folder को edit, move या delete नहीं करना हैं!

• Step 3. उसके बाद आपको Upload Option में Click करके जो Robots.txt आपने अपने Computer या Laptop के Text editor Notepad में बनाया था! उसे Upload कर देना हैं!

Upload करने के बाद भी आप Robots.txt फाइल को cpanel से भी edit या view कर सकते हैं! इसके लिए Robots.txt File को Select करके उसमे Right Click कीजिये! और View या edit Option में Click कर सकते हैं!

किसी भी Website का Robots.txt File कैसे देखें?

यदि आप किसी भी website का Robots.txt File देखना चाहते है तो आप बड़ी आसानी से इसे देख सकते हैं! इसके लिए अपने पसंदीदा Browser को Open कर लीजिये और Browser में जिस भी website का Robots.txt File आप देखना चाहते हैं! उस Website को लिखकर “/robots.txt” लिख दीजिये!

उदारहरण के लिए: https://www.example.com/robots.txt

Read More: Site Kit by Google Plugin kya hai – इसे Website में कैसे Setup और Use करें

FAQs

Conclusion [निष्कर्ष]

इस Hindi Post से आप जान गए होंगे की किसी website में Robots.txt file क्या होता हैं! (Robots.txt File kya hai) और Robots.txt फाइल को Website में कैसे Add करते हैं – Robots.txt file ko kese add krte hai! इसके साथ साथ हमने कुछ Robots.txt फाइल के सैंपल कोड्स को जाना जिन्हे किसी भी Website के लिए उपयोग किया जा सकता हैं!

आशा करता हूँ आपको यह पोस्ट पसंद आयी होंगी! यदि इस पोस्ट से Related आपके पास कोई प्रश्न या कोई सुझाव हो तो कृपया निचे Comment सेक्शन में जरूर बतायें!

इस पोस्ट को पढने के लिए आपका बहुत बहुत धन्यवाद!