Robots.txt কী?
`robots.txt` হলো একটি ফাইল যেটা সার্চ ইঞ্জিনের **ক্রলার/বট (Googlebot, Bingbot ইত্যাদি)**-কে বলে দেয় আপনার সাইটের কোন কোন অংশ **crawl (index)** করবে আর কোনটা করবে না।
---
## Robots.txt এর সাধারণ কাঠামো
```txt
User-agent: [bot নাম বা *]
Disallow: [যে লিংক/ফোল্ডার ক্রল করতে চান না]
Allow: [যে লিংক/ফোল্ডার ক্রল করতে চান]
Sitemap: [সাইটম্যাপ URL]
```
---
প্রতিটি ট্যাগ/ডিরেক্টিভ এর ব্যাখ্যা
### 1. `User-agent`
👉 কোন বট বা সার্চ ইঞ্জিনকে নির্দেশ দেয়া হচ্ছে তা বোঝায়।
* `*` → মানে সব বটের জন্য প্রযোজ্য।
* `Googlebot` → শুধু গুগল ক্রলারকে নির্দেশ।
**উদাহরণ:**
```txt
User-agent: *
```
মানে সব সার্চ ইঞ্জিন বটের জন্য নিয়ম কার্যকর হবে।
---
### 2. `Disallow`
👉 যেসব পেজ বা ফোল্ডার আপনি চান না গুগল ক্রল করুক, সেখানে ব্যবহার হয়।
**উদাহরণ:**
```txt
Disallow: /search
```
মানে `/search` লিংকগুলো ইনডেক্স হবে না। (যেমন Blogger-এর label search URL)।
---
### 3. `Allow`
👉 যেসব পেজ অবশ্যই ক্রল হোক, সেগুলো স্পষ্টভাবে বলে দেয়া হয়।
**উদাহরণ:**
```txt
Allow: /$
```
মানে হোমপেজ অবশ্যই ক্রল হবে।
---
### 4. `Sitemap`
👉 আপনার সাইটের XML sitemap কোথায় আছে তা বলে দেয়।
**উদাহরণ:**
```txt
Sitemap: https://example.blogspot.com/sitemap.xml
```
---
### 5. `Crawl-delay` (সব বট মানে না, কিন্তু Bing ইত্যাদি মানে)
👉 কত সেকেন্ড বিরতি দিয়ে বট আপনার সাইট ক্রল করবে।
**উদাহরণ:**
```txt
Crawl-delay: 10
```
মানে প্রতি 10 সেকেন্ড পর বট নতুন রিকোয়েস্ট করবে।
---
### 6. `Noindex` (গুগল robots.txt-এ এটা মানে না, তবে অন্যরা মানতে পারে)
👉 কোনো পেজ ইনডেক্স না করার নির্দেশ। তবে গুগল `robots.txt`-এ noindex সাপোর্ট করে না, এজন্য meta tag ব্যবহার করতে হয়।
---
## Blogger এর জন্য Best Robots.txt
Blogger সাইটের জন্য সবচেয়ে ব্যবহারযোগ্য robots.txt হলো:
```txt
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://yourblog.blogspot.com/sitemap.xml
```
### ব্যাখ্যা:
* `Disallow: /search` → Label/search পেজগুলো ইনডেক্স হবে না (এগুলো ডুপ্লিকেট কনটেন্ট তৈরি করে)।
* `Allow: /` → হোমপেজ, পোস্ট, পেজ ক্রল করা যাবে।
* `Sitemap:` → আপনার সাইটম্যাপ গুগলকে দেওয়া হলো যাতে দ্রুত ইনডেক্স হয়।
---
## Blogger এ Robots.txt কিভাবে সেট করবেন
1. Blogger Dashboard → **Settings** এ যান।
2. নিচে গিয়ে → **Crawlers and indexing** সেকশনে ক্লিক করুন।
3. **Enable custom robots.txt** → ON করুন।
4. উপরের কোড কপি করে পেস্ট করুন।
5. Save করুন ✅
---
Thanks for Reading.......The end
0 Comments:
Post a Comment