robots协议(也称为爬虫协议、爬虫规则、机器人协议等)
通常添加到网站根目录的robots.txt 文件,它的作用在于告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,从而优化网站的收录结果和权重。本站使用的robots如下:
User-agent: *
Disallow: /wp-*
Disallow: /cgi-bin/
Disallow: /feed/
Disallow: /tag/*
Disallow: /comments/feed
Disallow: /comments
Disallow: /trackback
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Sitemap: http://www.inlojv.com/sitemap
Sitemap: http://www.inlojv.com/sitemap_baidu.xml
Sitemap: http://www.inlojv.com/sitemap.html
保存为robots.txt文件,上传到网站的根目录即可!
本站文章除注明转载/出处外,均为本站原创或翻译。若要转载但请务必注明出处,尊重他人劳动成果。
转载请注明出处链接 : https://www.inlojv.com/766.html