SEO教程 robots.txt文件常见用途

网站运营 2024/9/1 佚名

3 2 1

本文将为你介绍最常用的四种robots.txt文件格式。

1. 允许所有的搜索引擎访问网站的任何部分

User-agent: *
Disallow:

(或者也可以建一个空文件 "/robots.txt")

2. 禁止所有搜索引擎访问网站的任何部分

User-agent: *
Disallow: /

3. 禁止所有搜索引擎访问网站中所有的动态页面

User-agent: *
Disallow: /*?*

4. 禁止网站上的程序文件被搜索引擎蜘蛛索引，这样可以节省服务器资源。

一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。

User-agent: *
Disallow: /admin/   后台管理文件
Disallow: /require/   程序文件
Disallow: /attachment/ 附件
Disallow: /images/     图片
Disallow: /data/       数据库文件
Disallow: /template/   模板文件
Disallow: /css/       样式表文件
Disallow: /lang/      编码文件
Disallow: /script/    脚本文件
注：每个网站的文件夹名字可能会不一样

SEO,robots.txt

标签：

SEO,robots.txt

免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com

评论“SEO教程 robots.txt文件常见用途”

SEO教程 robots.txt文件常见用途

暂无“SEO教程 robots.txt文件常见用途”评论...

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒经典版》的玩家都可以获得奖励。

更新动态

20240901

SEO教程 robots.txt文件常见用途

SEO,robots.txt

交换链接需要的注意事项

google 已经可以抓取flash加载的外部资源

评论“SEO教程 robots.txt文件常见用途”

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

更新动态

友情链接