خزنده

Crawler یا همان Web Crawler یا Spider، نوعی نرم‌افزار یا بات (Bot) است که توسط موتورهای جستجو مانند گوگل، بینگ، یاا شبکه‌های اجتماعی مورد استفاده قرار می‌گیرد. وظیفه اصلی یک Crawler اسکن و به دنبال صفحات وب بوده و اطلاعات آن‌ها را جمع‌آوری کرده و به موتور جستجوگر ارائه می‌دهد تا این صفحات در نتایج جستجو قرار گیرند.

وقتی یک Crawler به یک وب‌سایت دسترسی پیدا می‌کند، صفحات وب را اسکن و اطلاعات مربوط به آن‌ها مانند محتوا، لینک‌ها، ساختار صفحه، تصاویر و سایر عناصر را به موتور جستجوگر گزارش می‌دهد تا این اطلاعات مورد استفاده قرار گیرد و در نتایج جستجو نمایش داده شوند.

Crawler ها برای اسکن وب‌سایت‌ها از الگوریتم‌های خاصی استفاده می‌کنند و با پیروی از لینک‌ها و ارتباطات میان صفحات، به صورت خودکار اطلاعات را به روزرسانی و اسکن می‌کنند. این فرآیند اسکن و جمع‌آوری اطلاعات به موتور جستجو کمک می‌کند تا به‌روز و جامع بودن اطلاعات موجود در نتایج جستجو را تضمین کند.