Sovet№3 вътрешния създаване оптимизация

Sovet№3 Вътрешна оптимизация: Създаване на robots.txt

Предполагам, че аз не откривам Америка казва, че индексирането на сайта ви е много важно файла robots.txt С две думи, това, което тази за управление на файлове индексирането на сайта. Така че сега на езика на елфите)) файла robots.txt на е създаден специално за ботове за търсене да индексира сайтове. Файлът се записва в правилата на сканирането на вашия блог / сайт, т.е. robots.txt «казва" ботове, които може да индексира сайта. Например, защо Googlebot да знаете информацията на административния отдел? Или влезте форма? Първият робот търси файла TXT и прочетете той работи в рамките на вашата околна среда, и по-специално забранява.

За да забраните индексирането в Yandex и Google една страница, че е подходящо да се използва мета роботи тагове. Файлът robots.txt се използва за конфигуриране на световната индексирането.

Като цяло, достатъчно, за да отидат около темата, ние се пристъпи към подготовката и преглед на robots.txt

На Съвета. Ако вашият сайт на WordPress или други CMS по принцип силни различия в robots.txt на обектите там. Можете да оцените досиетата на неговите конкуренти и съответните на вашия сайт / блог, добавяйки към домейна /robots.txt например, ми роботи файл може да бъде видян на линка по - gtalk.kz/robots.txt pridelnyh Но бъдете внимателни!

Правила за съставяне на robots.txt

Ако някога ви се отвори файл, най-вероятно да се досетите как да го направи.

Общата схема е както следва:

Сега по-подробно. Първата стъпка е да се избере, които са предназначени да се произнесе. Изпълнението на тази функция е директива на потребителски агент. След това поле е името на робота, или "*" - следните правила за всички лодки. Частичен списък на търсачките и техните ботове име:

Забрани - забрана за индексиране на файлове, директория и т.н. Обучението е на противоположната Забрани позволи (не разбирам всички ботове!) - Googlebot разбира, Yandex - не.

Мисля, че, например, всичко ще си дойде на мястото:

• Забранете всички роботи да индексира сайта. Пълна забрана на сайта от търсачките.
  • User-Agent: *
    Disallow: /
• За да се индекс в целия сайт. Противно на параграф 1,
  • User-Agent: *
    Забрани:
• Индекс на сайта може само Googlebot, забрани Yandex
  • User-Agent: Googlebot
    Забрани: User-Agent: Yandex
    Disallow: /

Между правила за различни робота оставите празен ред!

• Близо указател на всички роботи: WP-включва, WP-администратор и WP-login.php файл в главната директория на сайта.
  • User-Agent: *
    Disallow: / WP-включва /
    Disallow: / WP-администратор /
    Disallow: / WP-login.php
• Забрана за индексиране на директория «собствен сайт», както и всички файлове и директории, които започват с герои «собствен сайт»
  • User-Agent: *
    Disallow: / собствен сайт
• Забрана за индексиране на файлове, започващи с героите се хранят и имат различен път до файла и / или директория:
  • User-Agent: *
    Disallow: * / емисия

Символът "*" означава (включително празна) последователност от знаци.

директива Водещ се поддържа само от Yandex и информира робота, на която на мястото на две основни огледала - с или без WWW. Той се използва за залепване домени. Формат на записа:

Обикновено, те пишат, че толкова погрешно:

User-Agent: *
Disallow: / CSS /
Водещ: www.example.com

И това е - надясно (за добавяне на правила за Yandex)

User-Agent: *
Disallow: / CSS /

User-Agent: Yandex
Disallow: / CSS /
Водещ: www.example.com

Не бих казал така, Yandex все още намира параметър домакин. Но това е по-добре да не се експериментира на сайта на живо))

И накрая, регламентите на проучването. Не забравяйте да добавите сайта. Изпълнението се осъществява по следния начин:

User-Agent: Yandex
Disallow: /

Също така аз препоръчвам:

Е, и сега няма да бъде трудно да се разбере в примерите по-долу.

А сега да разгледаме някои недвижими robots.txt

Преглед moegorobots.txtfayla.

User-Agent: *
Забрани: /wp-login.php
Забрани: /wp-register.php
Disallow: / собствен сайт
Забрани: * / собствен сайт
Disallow: * / емисия
Disallow: / * *?
Disallow: / WP-съдържание /
Disallow: / WP-администратор /
Disallow: / WP-включва /
Забрани: /xmlrpc.php
Позволете: / WP-съдържание / качване /

User-Agent: Yandex
Забрани: /wp-login.php
Забрани: /wp-register.php
Disallow: / собствен сайт
Забрани: * / собствен сайт
Disallow: * / емисия
Disallow: / * *?
Disallow: / WP-съдържание /
Disallow: / WP-администратор /
Disallow: / WP-включва /
Забрани: /xmlrpc.php
Позволете: / WP-съдържание / качване /
Водещ: gtalk.kz

Файлът robots.txt за Joomla

Мисля, че след като прочетете всичко по-горе, можете да намерите тук, мисля за него като домашна работа;)

Standard файл Joomla

По принцип много добре обмислено, разработчиците, тъй като WordPresse robots.txt отсъства))

User-Agent: *
Disallow: / администратор /
Disallow: / кеш /
Disallow: / компоненти /
Disallow: / снимки /
Disallow: / включва /
Disallow: / инсталация /
Disallow: / език /
Disallow: / библиотеки /
Disallow: / медии /
Disallow: / модули /
Disallow: / плъгини /
Disallow: / шаблони /
Disallow: / TMP /
Disallow: / xmlrpc /

Но не можах да устоя и направи промени.

User-Agent: *
Disallow: / администратор /
Disallow: / кеш /
Disallow: / компоненти /
Disallow: / включва /
Disallow: / език /
Disallow: / библиотеки /
Disallow: / медии /
Disallow: / модули /
Disallow: / плъгини /
Disallow: / шаблони /
Disallow: / TMP /
Disallow: / xmlrpc /

User-Agent: Yandex
Disallow: / администратор /
Disallow: / кеш /
Disallow: / компоненти /
Disallow: / включва /
Disallow: / език /
Disallow: / библиотеки /
Disallow: / медии /
Disallow: / модули /
Disallow: / плъгини /
Disallow: / шаблони /
Disallow: / TMP /
Disallow: / xmlrpc /
Водещ: gtalk.kz

Ако е възможно, добавете друг карта на сайта. Съветвам ви да използвате Comp Xmap - може би една от най-популярните.

Преглед блогъри Robot.txt файлове.

Сега малко поучителен преглед. Съществува мнение, че robots.txt е подобно на много, така че просто го копирате. Нека да разгледаме всички блогове / сайтове в платформата WordPress.

Аз не го съветва, но аз прегледахме robots.txt политика на файла, или е направено нарочно))
Пич просто отбеляза Яша, или го е направил по различен начин, кой знае. Един от малкото, които използват Позволете и отвори достъп до снимките на своя блог.

Следният файл е особено ме poraboval:

Да, да, моите приятели, в един ред. По принцип, сложи целия сайт в индекса е едва ли разумен, не ви съветвам да го направи, и се съгласявате, така че изглежда много по-хубав:

Следващият пример е блог Dimoksa - dimox.name
Какво общо има това да се направи за себе си? Например, линия 7: Disallow: /download-manager.php - забрана за сканиране изтегляне-manager.php файл, този файл е отговорен за изтегляне от блога Dimoksa. Какво означава Disallow: / jexr / честно казано не знам. Но изглежда има някои важни или лични файлове :)

User-Agent: *
Disallow: / WP-включва /
Disallow: / WP-администратор /
Забрани: /wp-login.php
Забрани: /wp-register.php
Забрани: /xmlrpc.php
Забрани: /download-manager.php
Disallow: / * коментирам-за цялата страница *
Disallow: / * ср = *
Disallow: / jexr /

User-Agent: Yandex
Disallow: / WP-включва /
Disallow: / WP-администратор /
Забрани: /wp-login.php
Забрани: /wp-register.php
Забрани: /xmlrpc.php
Забрани: /download-manager.php
Disallow: / * коментирам-за цялата страница *
Disallow: / * ср = *
Disallow: / jexr /
Водещ: dimox.name

Така че в края на краищата да се консолидират кое е добро и кое е лошо в примерите