Datoteke robots.txt je glavna datoteka, ki opisuje obdelavo pravil strani iskalnikov. To datoteko je potrebno določiti primarno spletno mesto, ime spletnega mesta zemljevid (sitemap.xml), javni in zasebni deli strani.
Datoteke robots.txt vključuje naslednje direktive:
- User-agent Direktiva določa, kaj robot naslednja pravila
- * - vsi roboti
- Yandex — glavni robot Yandex
- Googlebot — Googlebot je glavni
- StackRambler — iskalnik Rambler
- Aport — Aport iskalnik
- Slurp je Yahoo robot
- MSNBot je MSN robot
- Prepoveste Direktive je prepoved dela spletne strani
- Dovolite, — Direktiva dovoljuje del spletne strani,
- Gostitelj — Direktive določiti primarno spletno mesto ime
- Zemljevid— Direktiva usmerjanje mesto zemljevid (sitemap.xml)
- Po vsebini-delay Direktiva določa, koliko sekund robot lahko počakajte na odgovor iz mesta (potrebna za zelo obremenjeni virov, tako da se robot ni upoštevala stran ni na voljo)
- Čiščenje-param Direktive, ki opisujejo dinamičnih parametrov, ki ne vplivajo na vsebino spletnih strani
Помимо директив в robots.txt используются спец символы:
- * - lubi (vključno s prazno) zaporedje znakov
- $ — je omejitev pravil
Za pripravo robots.txt uporabo zgoraj navedenih smernic in poje znakov, kot sledi:
- Določa ime robota, na katerem je napisan seznam pravil
(User-agent: * - pravilo za vse robote) - Urok seznama prepovedanih delov mesta za določen robot
( Prepoveste: / - preprečite prikazovanje celotne strani) - Urok seznam dovoljenih področja spletnega mesta
(Dovoli: /home/ particijo, na kateri je doma dovoljeno) - Določa ime spletne strani
(Gostitelj: crazysquirrel.ru — glavni ime mesta crazysquirrel.ru) - Določa absolutno pot do datoteke, sitemap.xml
(Kazalo: https:// crazysquirrel.ru/sitemap.xml)
Če spletno mesto nima prepovedanih temah, robots.txt mora biti vsaj 4 linije:
User-Agent: *
Dovoli: /
Gostitelj: crazysquirrel.ru
Kazalo: https://crazysquirrel.ru/sitemap.xmlPreveri robots.txt in kako to vpliva na indeksiranje spletne strani z uporabo orodij, Yandex