آموزش robots.txt + دانلود

آموزش فایل robots.txt و دانلود

فایل robots.txt یکی از مهمترین فایل هایی ست که هر بمستر باید آن را در هاست خود کپی کنید.
آموزش فایل robots در زمره آموزش سئو و بهبود امنیت سایت طبقه بندی میگردد.
robots.txt یا فایل روبات یک فایل مهم برای خزنده های موتورهای جستجوست آنها سایت شما را بر مبنای فایل robots.txt ایندکس مینمایند اما
فایل روبوت یا روبات چیست و دقیقا چه کاری انجام میدهد؟
این فایل یک یا تمامی موتورهای جستجو را ملزم مینماید تا تمام یا قسمتی از سایت شما و به عباری وبسایت شما را در خود ایندکس نمایند و یا به آن ها میگوید که فایل یا تعدادی از صفحات سایت شما بدون محتوا و بی ارزش هستند و خزنده ها نیازی نیست تا آن ها را ایندکس کنند.
باید بدانید که داشتن 100 صفحه یا برگه مفید در سایت شما به مراتب بسیار بهتر است تا 1000 صفحه بدون ارزش که اجباری در ایندکس شدن آن ها نبوده. قطعا یکی از فاکتورهای مهم برای موتورهای جستجو داشتن مطالب مفید و موثر در سایت شماست و و بر این اساس به سایت شما امتیاز خواهند داد.  اگر صفحات بی مصرف و بی ارزش را بلاک و کار خزنده ها را راحت تر کنید از چشم آنها دور نخواهد ماند. همچنین فایل روبات این قابلیت را به شما میدهد تا فایل های شخصی و یا مهم خود را از چشم خزنده ها محفوظ داشته باشید که یکی از موارد امنیتی استفاده از فایل روبات همین مورد است.
فایل روبات در ریشه اصلی سایت قرار میگیرد مثل:
..../public_html/robots.txt
یا
..../public_html/site.com/robots.txt
به هر حال هنگام اجرای آدرس زیر در سایت شما، فایل روبات باید نمایش داده شود:
site.com/robots.txt

آموزس ساخت فایل robots.txt

و اما آموزش ساختن یک فایل روبات مخصوص سایت شما
برای ساختن یک فایل روبات در ابتدا کافیست که فایل notepad ویندوز خود را باز کرده و آن را با نام robots.txt زخیره کنید. در حال حاضر ما یک فایل روبات خالی ایجاد کردیم که موتورهای جستجو از آن به عنوان سرمشق استفاده میکنند.
در مرحله بعد این خط را در داخل فایل اضافه کنید:
User-agent: *
این فرمان یک یا چند موتور جستجو را ملزم به رعایت الگوها مینماید که در مثال بالا شما با قرار دادن * تمامی موتورهای جستجویی که به سایت شما سرک میکشند را فرمان خواهید داد. یا در این مثال User-Agent: Googlebot شما تنها موتور جستجوی گوگل را ملزم به رعایت قوانین موجود در فایل روبات خواهید نمود و سایر خزنده ها از قاعده پیشفرض خود استفاده خواهند نمود.
دو فرمان اصلی در فایل روبات وجود دارد:
Allow: یعنی روبات خزنده اجازه ایندکس نمودن محتویات را دارد
Disallow: و این عبارت یعنی خزنده ها نباید محتویات ذکر شده را ایندکس کنند.
به مثال زیر توجه کنید:
Disallow: /mypersonalfolder/
معنی خط بالا این است که من در ریشه هاست خودم و در فولدر mypersonalfolder محتوایی دارم که این محتوا به هر دلیل مناسب ایندکس شدن در گوگل نیست و خزنده ها نباید آن ها را در دایرکتوری و حافظه خود ایندکس نمایند. ممکن است در این فولدر فایل های شخصی داشته باشم یا این فولدر حاوی فایل های بی ارزش محتوایی، همچون فایل های .js یا .css و یا موارد مشابه باشد. لذا با قرار دادن این فرمان امتیازات خود را از موتورهای جستجو دریافت خواهیم نمود.
مثالی دیگر:
Allow: /forum/index.php
Disallow: /forum/index.php?mode=view
دو خط بالا به چه معناست؟
این دوفرمان به خزنده ها میگوید که فایل به نام index.php در پوشه forum را ایندکس کند با اینحال یک لینک بی محتوا به صورت index.php?mode=view در این فایل موجود است که نیازی به ایندکس شدن آن نیست. برخی از سیستم های مدیریت محتوا صفحات خود را بدین شکل در حافظه خود زخیره میکنند. لذا برای پاکسازی این قبیل لینک ها  پس از ایندکس شدن صفحات سایت در موتور جستجو باید نام سایت خود را بدین شکل:   site:mysite.com
در موتورجستجوی مورد نظر search نموده و لینک صفحاتی که فاقد ارزش هستند را تک به تک بررسی و جدا نموده و در فایل روبات زخیره کنیدو باور داشته باشید که هر خط یک امتیاز برای شما خواهد داشت.
چند مثال دیگر:
Disallow: /
یک فرمان خطرناک!! این فرمان کل هاست شما را برای خزنده ها بلاک خواهد نمود که کاراکتر / در خط بالا ریشه هاست یا پوشه public_html سایت شما را مورد هدف قرار میدهد.

Disallow: /mypic.jpg
این فرمان تنها یک فایل عکس با نام mypic.jpg موجود در پوشه public_html شما را مورد هدف قرار میدهد و به خزنده ها میگوید آن را ایندکس نکنند. این فایل میتوانید یک صفحه html یا php یا یک موزیک یا یک ویدیو و یا هر فایل دیگری باشد. با قرار دادن نام پسوند، شما به جای یک پوشه تنها یک فایل را فراخوانی مینمایید.
آخرین فرمان در فایل robots.txt فرمان سایت مپ است.
پس از نوشتن تمام بایدها و نباید ها در فایل روبات با فشردن یک اینتر و قرار دادن یک فضای خالی شما نقشه یا نقشه های سایت یا سایت مپ "sitemap.xml" خود را در آن قرار میدهید و از خزنده ها میخواهید که این فایل رو به عنوان یک کلید برای جستجوی مطالب شما و صفحات شما در نظر بگیرند. به مثال  زیر دقت کنید:
Disallow: /a/
Allow: /b.png/
Allow: /m/c.php
Disallow: /my/files/1.html

Sitemap: https://site.com/sitemap.xml
Sitemap: https://site.com/sitemap2.xml
در مثال بالا پس از نوشتن تمامی باید ها و نباید ها دو فایل نقشه سایت را به خزنده ها معرفی و از آن ها خواستیم تا برای ایندکس نمودن مطالب از دو فایل بالا کمک بگیرند.

مثال دیگر:
Disallow: /*.mp3$
در این مثال ما به خزنده ها میگوییم تا تمامی فایل های با فرمت mp3 در هاست و سایت را ایندکس نکند.
لیستی از تعدادی خزنده که ممکن است نیازمند شخصی سازی آنها در فایل روبات خود باشید:
User-agent: IsraBot
# unless they're feeding search engines.
User-agent: DOC
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: Teleport
User-agent: UbiCrawler
User-agent: linko
User-agent: TeleportPro
User-agent: Microsoft.URL.Control
User-agent: WebZIP
User-agent: HTTrack
User-agent: Download Ninja
User-agent: wget
# http://www.nameprotect.com/botinfo.html
User-agent: NPBot
# http://www.webreaper.net/
User-agent: WebReaper
User-agent: ia_archiver

نکته: robots.txt به حروف کوچک و بزرگ انگلیسی حساس است. پس نام تمام فایل ها را همان شکل که هستند و با در نظر گرفتن uppercase و lowercase در این فایل قرار دهید.
به یاد داشته باشید که فرامین موجود در فایل روبات مهم هستند و بدون داشتن اطلاعات کافی نباید تنظیمات اضافی در آن انجام داد. با وجود آموزش فوق در صورتی که همچنان برای قرار دادن robots.txt در سایت خود با مشکل مواجه هستید، از یک متخصص سئو در این زمینه کمک بگیرید. یا از طریق تیکت با ما در تماس باشید.
همچنین برای راحتی کاربران نمونه ای از فایل روبات یک سایت وردپرس جهت آموزش هرچه بیشتر قرار داده میشود:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /wp-admin/
Disallow: /wp-content/themes/
 
Sitemap: http://site.com/sitemap.xml
Sitemap: http://site.com/sitemap2.xml

نکته: در آموزش بالا حتما آدرس سایت خود را به جای آدرس های درج شده قرار دهید.

دانلود یک فایل روبات آماده برای وردپرس

آیا این پاسخ به شما کمک کرد؟

 پرینت این مقاله

در همین زمینه

جلوگیری از نمایش فایل ها و پوشه ها در هاست

برای جلوگیری سراسری از نمایش فایل ها و پوشه هایی که فاقد فایل index هستند کد زیر را در فایل...

ثبت سایت در گوگل

ثبت وب در گوگل برای ثبت سایت یا انجمن خود در گوگل به نشانی زیر...

استفاده از ایمیل های دامنه در موبایل و سایر برنامه ها

*1 در ابتدا یک ایمیل تحت دامنه خود بسازید. مانند email@mydomain.comوارد بخش ایمیل از SmartPhone...

صفحه خطای 404 اختصاصی

داشتن یک صفحه خطای 404 اختصاصی باعث میشود تا کاربران سایت شما پس از بازدید از یک صفحه منسوخ یا...

ثبت سایت در 129 موتور جستجوی قدرتمند دنیا

cleversubmitterدر این سایت تنها با یک کلیک و بدون اخذ اطلاعات اضافی سایت خود را به 129 موتور...