Robots.txt

Robots.txt се отнася до текстов файл, съхраняван на сървъра на уебсайт, който комуникира с роботите за търсене. Роботите за индексиране (роботите) се “казват” какви файлове и папки могат да се преглеждат и файлове и папки, които уеб администраторът ограничава да преглежда. Robots.txt може да поддържа индексираните страници на уеб администратор ограничени до страници, които те желаят.

Related Термини

Вашият коментар