网站优化

2020-09-01爱编程阅读(1320)评论(0)赞(0)

对于robots.txt文件来说是我们网站根目录下必不可少的文件，没有之一，文件对支持robots协议的蜘蛛定义了N多的规则，充许蜘蛛爬行那些目录及文件，不充许蜘蛛爬行那些目录及文件，像像百度，谷哥，360，bing这些蜘蛛全支持这一规则的...

2019-02-24爱编程阅读(2638)评论(0)赞(2)

我们知道通常在安装好后nginx，直接用服务器的IP去访问，可以打开nginx的默认欢迎页面； Welcome to nginx!If you see this page, the nginx web server is successfu...

2019-02-23爱编程阅读(2415)评论(0)赞(0)

最近一段时间在测试各大CDN服务商的线路性能，有朋友告诉我阿里云的全站加速，也就是他们自称的dcdn性能不错，让我有时间可以测试一下他们的性能，我在昨天晚上登录阿里云的全站加速配置页面，配置了一个网站，试了下，速度确实不错，特别对图片的加速...

2019-02-13爱编程阅读(2380)评论(0)赞(0)

昨天代维护的一家公司服务器，因为想用阿里云的服务器，所以网站不得不增加阿里云为接入商，大家都知道网站增加接入商和新备案基本一样，在这期间各大IDC商都要求网站不能打开的。 这种情况在原来那就只有放弃对网站的优化，关闭网站，等增加接入商成功后...

2019-02-12爱编程阅读(1873)评论(0)赞(0)

原来写过一文章介绍怎么区分百度的真假蜘蛛， 网站优化-通过反查IP来识别真正的百度蜘蛛 文章中我详细的介绍了不光要通过日志的UA信息去判断还需要通过反查蜘蛛IP的方式去判断到底是真蜘蛛还是假蜘蛛，在最后面介绍了111.206.*.*这个段是...

2019-02-02爱编程阅读(2460)评论(0)赞(0)

经常在群里听一些人问，怎么正确识别百度蜘蛛呢，好像是有好多IP伪装成百度蜘蛛来访问我的站呀！我们都知道最简单的的一种判断百度蜘蛛的方法就是通过UA来查看，但由于UA信息可能是被伪造的，所以只能说通过UA这种方法去判断是不是百度的蜘蛛是很不准...

2018-12-29爱编程阅读(3892)评论(1)赞(6)

MJ12bot这个蜘蛛是大家都怎么处理的?是否对SEO有帮助，他一直频繁的访问网站，是否应该屏蔽掉他呢，我的选择是好不犹豫的直接干掉他； MJ12bot遵循robots.txt标准，惹需屏蔽他，直接在 robots.txt 添加以下代码;