Robots.txt কী এবং কেন গুরুত্বপূর্ণ?

Robots.txt হলো একটি বিশেষ ধরনের টেক্সট ফাইল যা সার্চ ইঞ্জিনের ক্রলার/বট (যেমন Googlebot, Bingbot)কে নির্দেশ দেয়, আপনার সাইটের কোন অংশ ইনডেক্স করা যাবে এবং কোন অংশ ব্লক থাকবে। সঠিকভাবে Robots.txt ব্যবহার করলে আপনার ব্লগের SEO শক্তিশালী হয়, ডুপ্লিকেট কনটেন্ট সমস্যা এড়ানো যায় এবং নতুন পোস্ট দ্রুত সার্চ ইঞ্জিনে ইনডেক্স হয়।

---

Robots.txt-এর সাধারণ কাঠামো

User-agent: [bot নাম বা *]
Disallow: [যে লিংক/ফোল্ডার ক্রল করতে চান না]
Allow: [যে লিংক/ফোল্ডার ক্রল করতে চান]
Sitemap: [সাইটম্যাপ URL]
  

প্রতিটি ডিরেক্টিভের ব্যাখ্যা

User-agent: নির্দেশ করে কোন বট বা সার্চ ইঞ্জিনের জন্য নিয়ম প্রযোজ্য।

• * → সব সার্চ ইঞ্জিন বটের জন্য।
• Googlebot → শুধুমাত্র Google-এর ক্রলার জন্য।

Disallow: যেসব পেজ বা ফোল্ডার ক্রল না করতে চান, সেখানে ব্যবহার হয়।

Disallow: /search
  

এটি ব্লগের লেবেল বা সার্চ পেজ ব্লক করবে, যাতে ডুপ্লিকেট কনটেন্ট তৈরি না হয়।

Allow: যেসব পেজ অবশ্যই ক্রল হোক, স্পষ্টভাবে নির্দেশ দিতে ব্যবহার হয়।

Allow: /$
  

উদাহরণস্বরূপ, হোমপেজ নিশ্চিতভাবে ক্রল হবে।

Sitemap: আপনার সাইটের XML সাইটম্যাপের অবস্থান জানাতে ব্যবহার হয়।

Sitemap: https://example.blogspot.com/sitemap.xml
  

Google দ্রুত পোস্ট এবং পেজ ইনডেক্স করতে পারবে।

Crawl-delay: কত সেকেন্ড বিরতি দিয়ে বট ক্রল করবে। সব বট সমর্থন করে না, কিন্তু Bing ইত্যাদি মানে।

Crawl-delay: 10
  

---

Blogger-এর জন্য Best Robots.txt উদাহরণ

User-agent: *
Disallow: /search
Allow: /
Sitemap: https://yourblog.blogspot.com/sitemap.xml
  

ব্যাখ্যা:

• Disallow: /search → লেবেল বা সার্চ পেজ ইনডেক্স হবে না।
• Allow: / → হোমপেজ, পোস্ট এবং পেজ ইনডেক্স হবে।
• Sitemap: → Sitemap প্রদান করে Google দ্রুত ইনডেক্স করবে।

Blogger-এ Robots.txt সেট করার ধাপ

1. Blogger Dashboard → Settings এ যান।
2. নিচে গিয়ে Crawlers and indexing সেকশনে ক্লিক করুন।
3. Enable custom robots.txt → ON করুন।
4. উপরের কোড কপি করে পেস্ট করুন।
5. Save করুন। ✅

এই সেটআপের মাধ্যমে আপনার ব্লগের SEO শক্তিশালী হবে, সার্চ ইঞ্জিন দ্রুত পোস্ট ইনডেক্স করবে, এবং ডুপ্লিকেট কনটেন্ট সমস্যা কমবে। এছাড়া নতুন পোস্ট স্বয়ংক্রিয়ভাবে Google-এ আপডেট হয়।