Robots.txt for WordPress in Hindi: Simple Beginners Guide

WordPress blog के SEO के लिए robots.txt file का एक important role रहता है. Search engine bots आपके blog/ website को कैसे crawl करेगा यह robots.txt file decide करता है.

Blogger के लिए custom robots.txt file कैसे बनाएं इसके ऊपर already post बना चुका हूं. आज wordpress के लिए robots.txt file कैसे बनाया जाता है और उसे update किया जाता है वह बताने वाला हूं. क्योंकि Robots.txt को edit करते वक्त अगर आप एक छोटी सी भी गलती करते हैं तो आपका blog search engine में कभी भी index नहीं होगा.

तो चलिए जानते हैं Robots.txt file क्या है और WordPress के लिए एक perfect robots.txt file कैसे बनाएं.

Table Of Content

• What is Robots.txt in Hindi
• Create WordPress Robots.txt
• WordPress में robots.txt file कैसे Update करें

What is Robots.txt in Hindi

जब भी search engine bots आपके blog पर आते हैं वह उस page के सारे links को follow करते हैं और उन्हें crawl करके index करवाते हैं. इसके बाद ही आपका blog और post, pages Google, Bing जैसे search engine में show करता है.

जैसा कि इसके नाम से ही पता चलता है robots.txt एक text file है जो कि website के root directory में रहता है. Search engine bots आपके blog को crawl करने के लिए Robots.txt में निर्धारित नियमों का पालन करते हैं.

एक blog या website में post के अलावा और भी बहुत सारी चीजें हैं जैसे कि pages, category, tags, comments etc. लेकिन यह सारी चीजें एक search engine के लिए useful नहीं है. Generally एक blog पर search engine से traffic आता है उसके main url (https://bloggingpitara.blogspot.com) से, posts, pages या images से  इनके अलावा archaive, pagination, wp-admin जैसे चीजें search engine के लिए जरूरी नहीं है. यहां robots.txt, search engine bots को ऐसे unnecessary pages को crawl ना करने की instruction देता है.

अगर आपके Gmail पर कभी Index coverage का mail आया होगा तो आपने इस तरह का massage जरुर देखा होगा;

New issue found: Submitted URL blocked by robots.txt

यहां आपका जो URL है उसे crawl करने की अनुमति robots.txt नहीं दे रहा है, इसी वजह से वह url search engine के लिए blocked है.

यानी आपके blog का कौन सा web pages, Google या Bing में show करेगा और क्या नहीं यह robots.txt file decide करता है. इसमें एक भी गलती आपके पूरे blog को search engine से remove कर सकता है. इसलिए नए blogger इसे खुद create करने के लिए डरते हैं.

अगर अभी तक आपने robots.txt file को blog में update नहीं किया है, तो सबसे पहले आप इसकी कुछ basic rule को समझें और अपने blog के लिए एक perfect seo optimized robots.txt file बनाएं.

Create WordPress Robots.txt

किसी भी wordpress blog पर आपको एक default robots.txt file मिलता है. लेकिन अपने blog के better performace और seo के लिए आपको इस robots.txt को अपने हिसाब से customize करना पड़ता है.

WordPress default robots.txt

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: [Blog URL]/sitemap.xml

जैसा कि आप ऊपर देख सकते हैं robots.txt के लिए कुछ code/ syntax का इस्तेमाल किया जाता है. लेकिन आप में से ज्यादातर blogger इन syntax को बिना समझे ही अपने blog में इस्तेमाल करते हैं. पहले आप इन syntax का मतलब समझे उसके बाद आप खुद से अपने blog के लिए एक proper robots.txt code बना सकते हैं.

User-Agent: यह Search Engines Crawlers/Bots को instruction देने के लिए use किया जाता है.

User-agent: * इसका मतलब सारे search engine bots (Ex: googlebot, bingbot etc.) आपके site को crawl कर सकते हैं.

User-agent: googlebot
यहां सिर्फ Google bot को ही crawl करने की अनुमति है.

Allow: यह tag search engine bots आपके web pages और folder को crawl करने की अनुमति देता है. 

Disallow: यह syntax bots को crawl और index करने से रोकता है, ताकि कोई दूसरा उसे access ना कर सके.

1. यदि आप चाहते हैं कि आपकी site के सभी page और directory को index करे. यह syntax आपने Blogger robots.txt file में देखा होगा.

User-agent: *
Disallow:

2. लेकिन यह code आपकी site के सभी page और directory को index होने से block करेगा.

User-agent: *
Disallow: /

3. यदि आप Adsense का इस्तेमाल करते हैं तभी इस code को use करें. यह AdSense robots के लिए है जो  ads को manage करते हैं.

User-agent: Mediapartners-Google*
Allow: /

Example: अगर इस तरह का robots.txt file है, इसमें दिए गए rules का मतलब क्या है चलिए जानते हैं;

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp- admin/
Disallow: /archives/
Disallow: /refer/

Sitemap: https://https://bloggingpitara.blogspot.com/sitemap.xml

आप wordpress के अंदर जो भी files से images upload करते हैं वह /wp-content/uploads/ में save होता है. इसलिए यह code सारे images और files को index करने की permision देता है और WordPress plugin files, WordPress admin area, category page, और affiliate links को crawl करने के लिए search bots को disallow करता है.

Robots.txt file में sitemap add करने पर, search engine bots आपकी site के सभी pages को आसानी से ढूंढ सकते हैं.

अपने blog/ website के जरूरत के हिसाब से आप अलग-अलग तरह के robots.txt file बना सकते हैं. ऐसा जरूरी नहीं है कि मैं जो robots.txt code इस्तेमाल करता हूं आप भी वही करें.

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /*?*
Disallow: /comments/feed/
Disallow: /refer/
Disallow: /index.php
Disallow: /wp-content/plugins/

User-agent: Mediapartners-Google*
Allow: /

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

Sitemap: https://oyepandeyji.com/sitemap.xml

Note: यहां Sitemap के अंदर अपने blog का sitemap replace करें.

WordPress में robots.txt file कैसे Update करें

Robots.txt file को आप wordpress hosting के अंदर root directory में जाकर manually update कर सकते हैं या बहुत सारे plugins available है जिसके जरिए आप wordpress के dashboard में add कर सकते हैं. लेकिन मैं आज आपको सबसे आसान तरीका बताऊंगा, कैसे आप Yoast SEO plugin की मदद से robots.txt code को wordpress blog में update कर सकते हैं.

Step 1: अगर आपका wordpress पर blog है तो आप जरूर seo हो के लिए Yoast SEO plugin इस्तेमाल करते होंगे. सबसे पहले Yoast SEO में जाकर Tools button पर click करें. यहां आपके सामने तीन tools open होंगे, आपको इनमें से File editor पर click करना है.

Step 2: File editor पर click करने के बाद एक page open होगा यहां Robots.txt section के नीचे Create robots.txt file button पर click करें.

Step 3: Next Robots.txt के नीचे जो box है वहां आप default code को remove करके ऊपर जो robots.txt code दिया गया है उसे paste करें और Save Changes to Robot.txt पर click करें.

WordPress में robots.txt file को update करने के बाद Search Console में robots.txt tester tool के जरिए कोई error है या नहीं उसे check करना जरूरी है. यह tool आपकी website के robots.txt फ़ाइल को automatically fetch करेगा और यदि errors और warning है तो उसे show करेगा.

आपकी robots.txt file का मुख्य लक्ष्य है search engine को उन pages को crawl करने से रोकना है, जो सार्वजनिक करना जरूरी नहीं है. आशा करता हूं यह guide आपको एक seo optimized robots.txt code  बनाने में मदद करेगा.

इस post को ज्यादा से ज्यादा share करके दूसरे bloggers की मदद करें