欢迎光临
我们一直在努力

网站优化

隐藏robots文件禁止浏览器访问-爱编程

隐藏robots文件禁止浏览器访问

爱编程阅读(1463)评论(0)赞(0)

对于robots.txt文件来说是我们网站根目录下必不可少的文件,没有之一,文件对支持robots协议的蜘蛛定义了N多的规则,充许蜘蛛爬行那些目录及文件,不充许蜘蛛爬行那些目录及文件,像像百度,谷哥,360,bing这些蜘蛛全支持这一规则的...

cdn-动态加速导致节点疯狂访问test.html的疑问-爱编程

cdn-动态加速导致节点疯狂访问test.html的疑问

爱编程阅读(2583)评论(0)赞(0)

最近一段时间在测试各大CDN服务商的线路性能,有朋友告诉我阿里云的全站加速,也就是他们自称的dcdn性能不错,让我有时间可以测试一下他们的性能,我在昨天晚上登录阿里云的全站加速配置页面,配置了一个网站,试了下,速度确实不错,特别对图片的加速...

nginx-百度闭站保护配置nginx全站返回404状态码-爱编程

nginx-百度闭站保护配置nginx全站返回404状态码

爱编程阅读(2524)评论(0)赞(0)

昨天代维护的一家公司服务器,因为想用阿里云的服务器,所以网站不得不增加阿里云为接入商,大家都知道网站增加接入商和新备案基本一样,在这期间各大IDC商都要求网站不能打开的。 这种情况在原来那就只有放弃对网站的优化,关闭网站,等增加接入商成功后...

SEO-奇葩的百度蜘蛛在UA中没标注Baiduspider-爱编程

SEO-奇葩的百度蜘蛛在UA中没标注Baiduspider

爱编程阅读(2006)评论(0)赞(0)

原来写过一文章介绍怎么区分百度的真假蜘蛛, 网站优化-通过反查IP来识别真正的百度蜘蛛 文章中我详细的介绍了不光要通过日志的UA信息去判断还需要通过反查蜘蛛IP的方式去判断到底是真蜘蛛还是假蜘蛛,在最后面介绍了111.206.*.*这个段是...

网站优化-通过反查IP来识别真正的百度蜘蛛-爱编程

网站优化-通过反查IP来识别真正的百度蜘蛛

爱编程阅读(2615)评论(0)赞(0)

经常在群里听一些人问,怎么正确识别百度蜘蛛呢,好像是有好多IP伪装成百度蜘蛛来访问我的站呀!我们都知道最简单的的一种判断百度蜘蛛的方法就是通过UA来查看,但由于UA信息可能是被伪造的,所以只能说通过UA这种方法去判断是不是百度的蜘蛛是很不准...

SEO-您是否禁止了mj12bot蜘蛛的访问-爱编程

SEO-您是否禁止了mj12bot蜘蛛的访问

爱编程阅读(4570)评论(1)赞(6)

MJ12bot这个蜘蛛是大家都怎么处理的?是否对SEO有帮助,他一直频繁的访问网站,是否应该屏蔽掉他呢,我的选择是好不犹豫的直接干掉他; MJ12bot遵循robots.txt标准,惹需屏蔽他,直接在 robots.txt 添加以下代码;

爱编程、一个运维兼程序员的博客!

联系我们