תגית: robots

פוסטים חדשים

בניית קובץ robots.txt

חלק נכבד מן הרובוטים הפועלים כיום ברשת יחפשו קובץ בשם robots.txt בספרייה הראשית של האתר שלכם: http://www.domain.com/robots.txt

קובץ זה אמור לסייע להם להחליט לאילו חלקים באתר הם יכולים להיכנס, ומאילו חלקים הם אמורים להימנע מלהיכנס.'

תגיות: , , , ,

המשך