Crawled 

ওয়েবসাইট বা ব্লগ নিয়ে কাজ করলে আপনি নিশ্চয়ই “**Crawled**” শব্দটি শুনেছেন। বিশেষ করে **Google Search Console** এ দেখা যায়—

* Crawled

* Crawled but not indexed

* Discovered but not crawled ইত্যাদি।

চলুন জেনে নেই Crawled বলতে কী বোঝায় এবং এর কাজ কী।

---

Crawled কী?

**Crawled** শব্দটি এসেছে “Crawl” থেকে। সার্চ ইঞ্জিন (যেমন Google, Bing) যখন আপনার ওয়েবসাইট ভিজিট করে এবং সেখানে থাকা **পোস্ট, পেজ, লিংক, ইমেজ ইত্যাদি ডাটা পড়ে নেয়**, তখন তাকে Crawling বলে।

অর্থাৎ, **Crawled মানে হলো সার্চ ইঞ্জিন বট আপনার সাইটে ঘুরে বেড়িয়ে সব কন্টেন্ট স্ক্যান করেছে।**

---

Crawling কিভাবে কাজ করে?

1. **Googlebot / Spider ভিজিট করে**

   সার্চ ইঞ্জিনের বিশেষ প্রোগ্রাম (যাকে Spider বা Bot বলে) আপনার ওয়েবসাইটে প্রবেশ করে।

2. **লিংক খুঁজে বেড়ায়**

   সাইটের ভেতরের সব লিংক, পোস্ট, পেজ, ইমেজ, মেটা ট্যাগ পড়তে শুরু করে।

3. **ডেটা সংগ্রহ করে**

   কোন কন্টেন্ট নতুন, কোনটা আপডেটেড—এসব তথ্য সংগ্রহ করে Google Index এ পাঠায়।

4. **ইনডেক্স করার প্রস্তুতি নেয়**

   Crawling শেষ হলে Google সিদ্ধান্ত নেয়, কোন কন্টেন্ট সার্চ রেজাল্টে দেখানো হবে।

---

* সার্চ ইঞ্জিনকে আপনার ওয়েবসাইট সম্পর্কে ধারণা দেওয়া।

* নতুন পোস্ট বা আপডেটেড কন্টেন্ট সার্চ ইঞ্জিনে পৌঁছে দেওয়া।

* কন্টেন্ট ইনডেক্স হওয়ার প্রথম ধাপ তৈরি করা।

* SEO র‍্যাংকিংয়ের জন্য ভিত্তি তৈরি করা।

👉 মনে রাখবেন, **Crawled মানেই ইনডেক্স হয়েছে না**। Crawled মানে শুধু Google আপনার কন্টেন্ট ভিজিট করেছে।

ইনডেক্স করার জন্য Google-এর অ্যালগরিদম দেখে কন্টেন্ট যথেষ্ট ভালো কিনা।

---

Crawl না হওয়ার কারণ কী হতে পারে?

* Robots.txt ফাইলে ব্লক করা আছে।

* সাইটে টেকনিক্যাল এরর (৪০৪, ৫০০ এরর)।

* ডুপ্লিকেট কন্টেন্ট বেশি।

* নতুন সাইট হলে Googlebot এখনো ভিজিট করেনি।

---

উপসংহার

**Crawled হলো সার্চ ইঞ্জিন বটের কাজ, যেখানে তারা আপনার ওয়েবসাইট ভিজিট করে এবং ডেটা সংগ্রহ করে।** এটি SEO ও সার্চ ভিজিবিলিটির সবচেয়ে গুরুত্বপূর্ণ ধাপ। Crawling ছাড়া কন্টেন্ট কখনোই Google সার্চে আসবে না।

---

The end