Blogger-এর জন্য SEO Optimized Robots.txt

Robots.txt হলো একটি ছোট টেক্সট ফাইল যা সার্চ ইঞ্জিনকে বলে দেয় কোন পেজ বা লিংক আপনার ব্লগ থেকে ক্রল করা যাবে এবং কোনগুলো ব্লক থাকবে। সঠিক Robots.txt ব্যবহার করলে Google এবং অন্যান্য সার্চ ইঞ্জিন আপনার ব্লগকে দ্রুত এবং সঠিকভাবে ইনডেক্স করতে পারে। এটি ডুপ্লিকেট কনটেন্ট সমস্যার হাত থেকে রক্ষা করে এবং ব্লগের SEO শক্তিশালী করে। বিশেষ করে Blogger-এ অনেক লেবেল, সার্চ পেজ এবং মোবাইল ভের্সন ডুপ্লিকেট URL তৈরি হয়। এই ফাইলের মাধ্যমে সেগুলো ব্লক করা সম্ভব।

User-agent: *
Disallow: /search
Disallow: /?m=1
Allow: /

Sitemap: https://yourblog.blogspot.com/sitemap.xml
Sitemap: https://yourblog.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
  

কী বোঝানো হয়েছে?

• User-agent: * → সব সার্চ ইঞ্জিন বটের জন্য প্রযোজ্য। এটি নির্দেশ করে যে সব সার্চ ইঞ্জিন এই নিয়ম মেনে চলবে।
• Disallow: /search → ব্লগের লেবেল বা সার্চ রেজাল্ট পেজ ব্লক করা হচ্ছে। এতে ডুপ্লিকেট কনটেন্ট সমস্যা কমে।
• Disallow: /?m=1 → মোবাইল ভিউ থেকে তৈরি ডুপ্লিকেট URL ব্লক করা হচ্ছে।
• Allow: / → হোমপেজ, পোস্ট, পেজ, ক্যাটাগরি সব ক্রল করা যাবে।
• Sitemap: → Sitemap দেওয়ার মাধ্যমে Google দ্রুত আপনার সব পোস্ট ও পেজ ইনডেক্স করবে। এখানে sitemap.xml হলো মেইন সাইটম্যাপ এবং atom.xml হলো সব পোস্টের তালিকা।

Blogger-এ Robots.txt যোগ করার ধাপ

1. Blogger Dashboard → Settings → Crawlers and indexing এ যান।
2. Enable custom robots.txt → ON করুন।
3. উপরের কোড কপি করে আপনার ব্লগে পেস্ট করুন।
4. Save করুন। ✅

এই সেটআপ করলে আপনার ব্লগের SEO আরও শক্তিশালী হবে, সার্চ ইঞ্জিন দ্রুত পোস্ট ইনডেক্স করবে, এবং ডুপ্লিকেট কনটেন্ট থেকে রক্ষা পাওয়া যাবে। এছাড়া, Sitemap দেওয়ার মাধ্যমে নতুন পোস্ট ও পেজ স্বয়ংক্রিয়ভাবে Google-এ আপডেট হয়।