我们知道搜索引擎的产品线很长,多个产品之间总不可能完全完美地配合,因此在robots.txt的限制收录那里就产生了一个可以被利用的漏洞。

原理分析(以搜狗为例)

搜狗针对各个搜索引擎,对搜索结果页面进行了屏蔽处理。其中“/sogou?”、“/web?”等路径均是结果页面的路径,那么,会不会有这样一种情况?搜狗存在其他的搜索结果页面路径,但是在robots.txt中却没有申明屏蔽?为了验证这一猜想,我们到百度中搜索搜狗。

突破搜索引擎robots.txt限制:让搜索引擎给你的网站做外链

我们可以看到其中“/sie?”、“/sgo?”均为搜狗搜索结果页面的路径,但是在robots.txt文件中却没有被申明屏蔽!即是说这样路径的页面时允许被搜索引擎收录,如果这样的页面的搜索结果全部都是自己的网站呢?那么就实现了让搜索引擎给自己网站做外链的效果!

那么问题来了?如果让搜索结果全部都是自己的站点呢?很自然地就会想到站内搜索!具体寻找站内搜索参数的方式请自行搜索相关资料,此处直接说明结果:搜狗的站内搜索参数为insite,那么组装成这样一个网址:

http://www.sogou.com/sgo?query=SEO&insite=meeaxu.com

这个网址时可被收录的、这个页面的所有搜索结果均是指定网站的,将类似的网址在互联网上进行传播,蜘蛛爬行到之后最终会入库建立索引,最后达到了我们的目的:让搜索引擎给自己的网站链接。

写在最后

这种方法的时效性不高,很多人都使用之后就会被修复。之所以要将原理清楚地描述出来,是为了描述黑帽方法的发现过程。黑帽并不是简单地做什么站群、群发外链什么的,更多的是利用搜索引擎本身的漏洞来进行优化。本文仅仅是示例了一个非常简单的黑帽方法发现过程,更多大神都非常低调,其发现的方法也并未在互联网上传播。本文仅仅是为了让大家更了解黑帽,并非鼓励大家使用黑帽的方式来进行网站优化,不仅伤害用户也为互联网带来了更多污染。我希望大家更多地去考虑用户体验,去配合搜索引擎,同样能够达到最终目的。

标签:
搜索引擎,robots.txt

免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com

P70系列延期,华为新旗舰将在下月发布

3月20日消息,近期博主@数码闲聊站 透露,原定三月份发布的华为新旗舰P70系列延期发布,预计4月份上市。

而博主@定焦数码 爆料,华为的P70系列在定位上已经超过了Mate60,成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢?

根据目前爆料的消息来看,华为P70系列将推出三个版本,其中P70和P70 Pro采用了三角形的摄像头模组设计,而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智,但辨识度绝对拉满。