当我们制作网站时，一个完整的网站应该有301个重定向、404个页面和robots.txt文件，这些都是制作网站所必需的。 其中robots.txt 文件来屏蔽不想被搜索引擎抓取的页面。

　　robots.txt是搜索引擎中第一个在访问网站时查看的文件。当搜索引擎访问网站时，它首先检查站点根目录中是否存在robots.txt，如果存在，搜索引擎将根据文件的内容确定访问范围。如果文件不存在，那么搜索引擎都可以访问不受密码保护的站点上的所有页面。

　　如果网站因某种原因而被修改或突然删除大量网页，但网站上出现大量死链接，不利于网站在搜索引擎中的排名。虽然可以直接向百度提交死链接，但现在最好方法是直接阻止搜索引擎爬行死链接。

　　网站有时候会有不希望被搜索引擎索引的内容，如私有数据、用户信息、管理背景页面等，可以由robots.txt屏蔽。

　　使用方法。使用记事本等编辑软件，在User-agent后添加需要屏蔽的搜索引擎的爬行工具名称Googlebot、sogou spider等，在Disallow后添加网站的限制目录/bin/、/admin/等，将文件名命名为robots.txt上传到网站根目录即可。

　　例图：

（非特殊说明，本文版权归原作者所有，转载请注明出处 ）
标签： 上海网站建设、上海网站制作、高端网站设计、迈若网络

手机随时获取迈若动态，扫描左侧二维码
添加迈若微信公众号【manro_since2005】