网站中的robots文件的作用

发表于:2020-01-20

  当我们制作网站时,一个完整的网站应该有301个重定向、404个页面和robots.txt文件,这些都是制作网站所必需的。 其中robots.txt 文件来屏蔽不想被搜索引擎抓取的页面。

  robots.txt是搜索引擎中第一个在访问网站时查看的文件。当搜索引擎访问网站时,它首先检查站点根目录中是否存在robots.txt,如果存在,搜索引擎将根据文件的内容确定访问范围。如果文件不存在,那么搜索引擎都可以访问不受密码保护的站点上的所有页面。

  如果网站因某种原因而被修改或突然删除大量网页,但网站上出现大量死链接,不利于网站在搜索引擎中的排名。虽然可以直接向百度提交死链接,但现在最好方法是直接阻止搜索引擎爬行死链接。

  网站有时候会有不希望被搜索引擎索引的内容,如私有数据、用户信息、管理背景页面等,可以由robots.txt屏蔽。

  使用方法。使用记事本等编辑软件,在User-agent后添加需要屏蔽的搜索引擎的爬行工具名称Googlebot、sogou spider等,在Disallow后添加网站的限制目录/bin/、/admin/等,将文件名命名为robots.txt上传到网站根目录即可。

  例图:

robots文件




(非特殊说明,本文版权归原作者所有,转载请注明出处 )
标签: 上海网站建设、上海网站制作、高端网站设计、迈若网络


迈若微信公众号_上海网站建设公司

手机随时获取迈若动态,扫描左侧二维码
添加迈若微信公众号【manro_since2005】