看了下日志,发现有几条类似这样的:
2010-07-27 16:03:33 W3SVC1129513256 221.192.135.26 GET /a/view/18691.html - 80 - 203.208.60.251 Mediapartners-Google 200 0 0

Mediapartners-Google是什么,搜索一下,原来是Google Adsense的漫游器。

以下内容来自 网站管理员支持中心

我希望网站的某些网页不被编入索引,但要在这些页上显示 AdSense 广告。能否满足我的这一要求?

可以。您可以在这些网页上禁用 (Disallow) 除 Mediapartners-Google 之外的所有漫游器。这样可确保不将网页编入索引,但可让 Googlebot-MediaPartners 漫游器分析这些网页,以确定是否显示广告。Googlebot-MediaPartners 漫游器不与其他 Google 用户代理共享网页。例如,您可以使用下列条目:

User-Agent:*
Disallow:/folder1/
User-Agent:MediaPartners-Google
Allow:/folder1/

如何拦截 Googlebot?

拦截 Googlebot
Google 使用多个 user-agent。您可以在条目的 User-Agent 行中包含漫游器名称来拦截对网页的访问。拦截 Googlebot 将会拦截所有以"Googlebot"开头的漫游器。

Googlebot:从我们的网站索引和新闻索引中抓取网页
Googlebot-Mobile:针对我们的移动索引抓取网页
Googlebot-Image:针对我们的图片索引抓取网页
Mediapartners-Google:抓取网页确定 AdSense 的内容。只有在您的网站上展示 AdSense 广告的情况下,我们才会使用此漫游器来抓取您的网站。
Adsbot-Google:抓取网页来衡量 AdWords 目标网页的质量。只有在您使用 AdWords 为您的网站做广告的情况下,我们才会使用此漫游器。参阅关于此漫游器的更多信息以及如何在您的网站上执行部分拦截。
例如,要完全拦截 Googlebot,您可以使用下列语法:

User-agent:Googlebot Disallow:/
允许 Googlebot
如果您要拦截除 Googlebot 以外的所有漫游器访问您的网页,可以使用下列语法:

User-agent:Disallow:/
User-agent:Googlebot
Disallow:
Googlebot 跟随指向它自己的行,而不是指向所有漫游器的行。

"Allow"扩展名
Googlebot 可识别称为"Allow"的 robots.txt 标准扩展名。其他搜索引擎的漫游器可能无法识别此扩展名,因此请使用您感兴趣的其他搜索引擎进行查找。"Allow"行的作用原理完全与"Disallow"行一样。只需列出您要允许的目录或页面即可。

您也可以同时使用"Disallow"和"Allow"。例如,要拦截子目录中某个页面之外的其他所有页面,可以使用下列条目:

User-Agent:Googlebot
Disallow:/folder1/
Allow:/folder1/myfile.html
这些条目将拦截 folder1 目录内除 myfile.html 之外的所有页面。

如果您要拦截 Googlebot 并允许 Google 的另一个漫游器(如 Googlebot-Mobile),可使用"Allow"规则允许该漫游器的访问。例如:

User-agent:Googlebot
Disallow:/
User-agent:Googlebot-Mobile
Allow:

标签:
Mediapartners-Google,漫游器

免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
评论“Mediapartners-Google漫游器的相关介绍”
暂无“Mediapartners-Google漫游器的相关介绍”评论...

《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。

《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。