百度遵守 Robots.txt 协议吗?
今天闲来没事查看自己的这个新博客:魏星博客的百度收录情况, 出现了一个怪异的想象,昨天网站上的线,今天百度竟然收录了, 天哪,真不敢相信,以前不等个半个月百度是不会收录的,最诡异的 是,我添加了robots.txt 到自己的根目录,目的就是让百度不搜索到 我的网站,因为这几天还在修改当中,但是百度却收录了,然后查了下 资料,看到水煮鱼的一篇文章,讲的也是这个问题,还举了一些例子, 然后我知道了,百度不是真的遵守robots.txt协议,百度啊百度,让人 欢喜然人忧啊,对于这件事我是该高兴呢,还是该生气呢??
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 WEIXING.ME!
评论