标签：robots

2020-09-01爱编程阅读(1397)评论(0)赞(0)

对于robots.txt文件来说是我们网站根目录下必不可少的文件，没有之一，文件对支持robots协议的蜘蛛定义了N多的规则，充许蜘蛛爬行那些目录及文件，不充许蜘蛛爬行那些目录及文件，像像百度，谷哥，360，bing这些蜘蛛全支持这一规则的...

2018-12-29爱编程阅读(4476)评论(1)赞(6)

MJ12bot这个蜘蛛是大家都怎么处理的?是否对SEO有帮助，他一直频繁的访问网站，是否应该屏蔽掉他呢，我的选择是好不犹豫的直接干掉他； MJ12bot遵循robots.txt标准，惹需屏蔽他，直接在 robots.txt 添加以下代码;