Robots是各大搜刮引擎公认的隐衷网页掩护权利，北京网站建造公司以为，若是你的站点有某些页面不想让搜刮引擎抓取到，能够挑选屏障该类URL这也是最根基网站扶植常识，搜刮引擎就不会将屏障的页面停止开放。Robots和谈写到制止不要搜刮引擎抓取可是搜刮引擎的蜘蛛能够还会抓取，可是不用然会将内容放出来。
　　
　　博客或企业站点究竟要不要写robots和谈呢？
　　
　　对站点内容页面较少实在能够挑选不屏障抓取，屏障抓取的目标大抵分为两个，1.该类数据不能对外发布 2.节流网站本身抓取配额。
　　
　　若是是出于隐衷角度完全能够将内容设置加密，比方用户须要登录后能力看到完全的内容，像这些内容搜刮引擎就没法完全的抓取到，经由过程这个道理只需不想被搜刮引擎抓取到能够挑选登录后能力看到内容，如许就能够等闲的防止搜刮引擎的蜘蛛停止抓取。
　　
　　节流网站的抓取配额，对小站来讲配额是充沛的。也不会呈现大批的有用页面或告白和低俗的内容。
　　
　　robots.txt写法
　　
　　若是须要屏障一些页面不能让搜刮引擎抓取到的内容，仍是能够经由过程robots来处理。可是有个重点须要注重，屏障的这些页面URL布局若是完全的写robots外面就很是轻易裸露给合作敌手，信任良多的中大型站点是有良多的页面不在网站企业微信下载或其余页面赐与链接进口。可是为了测试或其余缘由挑选了临时屏障就会赐与合作敌手更多研讨的标的目的。以是在robots外面还存在一个很是大宁静隐患，若是将一切不用要的页面都挑选屏障那为甚么还要停止成立，屏障写作robots文件外面一定是件功德。
　　
　　也能够利用别的一种体例停止屏障，比方写作meta信息外面；
　　
　　 也能够停止屏障。
　　
也能有用的停止屏障抓取
　　
　　罕见的robots.txt文件和谈都是如许的；
　　
　　User-agent: *
　　
　　Disallow: /?
　　
　　Disallow: /pic
　　
　　sitemap: //www.xxx.com/sitemap.html
　　
　　1.奉告一切的搜刮引擎蜘蛛，这里的*代表的一切的搜刮引擎品种
　　
　　2.但不许可抓取带“?”的URL
　　
　　3.不许可抓取”/PIC”该文件下的内容
　　
　　4.这个站点网站舆图抓取地点
　　
　　告知搜刮引擎不情愿被抓取到的页面URL布局填写在robots文件中，许可收录的就能够够不写。