این فایل به موتورهای جستجو نشون می ده که اجازه دسترسی به چه قسمتهایی را دارند؟!
.
.
یعنی شما اگر قسمتی از صفحات سایتتون را برای موتورهای جستجو و کاربران مناسب نمی بینید،باید در این فایل مشخص کنید که موتورهای جستجو به این بخش راه پیدا نکنند.البته با متاتگ NOINDEX و همچنین پسورد گذاری پوشه ها در فایل .htaccess هم میشه این کارو کرد!
تمامی موتورهای جستجو با مشاهده علامت * دیگه به پوشه هایی که شما مشخص کردید وارد نمیشن.البته شما میتونید این محدودیت را فقط برای یک یا چند روبوت جستجوگر بزارید.کد زیر نمونه ای از فایل robots.txt هستش:
.
.
در این فایل همه روبوتهای جستجوگر از دسترسی به پوشه ی privatefolder و صفحه privatefile.html منع شده اند.شما اگه در خط اول بجای * اسم روبوت مربوطه را بنویسید،اون روبوت از ورود منع میشه.
البته دوستانی که با برنامه نویسی آشنایی ندارند،لازم نیست این فایل را دستکاری کنند و میتونند فایل زیر را دانلود کنند و در قسمت روت سایتشون قرار بدند.
robots.txt
دوستانی هم که نیاز به فایل روبوت خاصی دارند و میخواهند قسمتی را محدود کنند و به کمک نیاز دارند،بگن که تا کمکشون کنم.
برگرفته از : 3eo.ir
.
.
یعنی شما اگر قسمتی از صفحات سایتتون را برای موتورهای جستجو و کاربران مناسب نمی بینید،باید در این فایل مشخص کنید که موتورهای جستجو به این بخش راه پیدا نکنند.البته با متاتگ NOINDEX و همچنین پسورد گذاری پوشه ها در فایل .htaccess هم میشه این کارو کرد!
تمامی موتورهای جستجو با مشاهده علامت * دیگه به پوشه هایی که شما مشخص کردید وارد نمیشن.البته شما میتونید این محدودیت را فقط برای یک یا چند روبوت جستجوگر بزارید.کد زیر نمونه ای از فایل robots.txt هستش:
.
.
در این فایل همه روبوتهای جستجوگر از دسترسی به پوشه ی privatefolder و صفحه privatefile.html منع شده اند.شما اگه در خط اول بجای * اسم روبوت مربوطه را بنویسید،اون روبوت از ورود منع میشه.
البته دوستانی که با برنامه نویسی آشنایی ندارند،لازم نیست این فایل را دستکاری کنند و میتونند فایل زیر را دانلود کنند و در قسمت روت سایتشون قرار بدند.
robots.txt
دوستانی هم که نیاز به فایل روبوت خاصی دارند و میخواهند قسمتی را محدود کنند و به کمک نیاز دارند،بگن که تا کمکشون کنم.
برگرفته از : 3eo.ir