Robots.txt

فایل robots.txt یک فایل متنی است که در ریشه وب‌سایت قرار می‌گیرد و به موتورهای جستجو راهنمایی می‌کند که کدام بخش‌های سایت را می‌توانند فهرست کنند و یا از فهرست‌دهی آنها جلوگیری کنند. این فایل به موتورهای جستجو اجازه یا ممنوعیت دسترسی به بخش‌های خاصی از وب‌سایت را می‌دهد.

robots.txt معمولاً برای محدود کردن دسترسی موتورهای جستجو به بخش‌های خاصی از وب‌سایت استفاده می‌شود. برای مثال، اگر قصد داشته باشید برخی از صفحات یا پوشه‌های خاصی از فهرست جستجوی گوگل یا سایر موتورهای جستجو خارج شوند، می‌توانید در فایل robots.txt دستوراتی بنویسید که موتورهای جستجو را از فهرست کردن آن بخش‌ها باز دارد.

مثالی از یک دستور در فایل robots.txt برای ممنوع کردن فهرست‌دهی یک پوشه به شکل زیر است:

User-agent: *
Disallow: /folder/

در این مثال، User-agent: * به تمام موتورهای جستجو اعم از گوگل، بینگ، یا سایر موتورها اشاره دارد. Disallow: /folder/ موتورهای جستجو را از فهرست کردن محتویات پوشه «folder» در وب‌سایت منع می‌کند.

robots.txt یکی از ابزارهای مهم در مدیریت چگونگی فهرست‌دهی وب‌سایت توسط موتورهای جستجو است، اما باید به دقت و با آگاهی از تأثیرات آن استفاده شود. استفاده نادرست از فایل robots.txt می‌تواند منجر به این شود که بخش‌هایی از وب‌سایت که شما می‌خواهید در نتایج جستجو ظاهر شوند، از فهرست‌دهی خارج شوند یا برعکس، بخش‌هایی که قصد دارید مخفی بمانند، قابل دسترسی شوند.