上海网站优化必须要写robots协议吗

robots是网站跟网络爬虫间的协议书，用简易立即的txt格式文字方式告知相匹配的网络爬虫被容许的管理权限。您能够 在您的网址中建立一个纯文本文档robots.txt，在这个文档中申明该网址中不愿被robot浏览的一部分，那样，该网址的一部分或所有内容就可以不被百度搜索引擎百度收录了，或是特定百度搜索引擎只百度收录特定的內容。

    robots.txt是一种储放于网址根目录下的ASCII编号的文本文档，它一般 告知百度搜索引擎搜索引擎蜘蛛，此网站中的什么內容是不可以被百度搜索引擎的搜索引擎蜘蛛获得的，什么是能够 被搜索引擎蜘蛛获得的。由于一些系统软件中的URL是英文大小写比较敏感的，因此 robots.txt的文件夹名称应统一为小写字母。robots.txt应置放于网址的根目录下。假如想独立界定百度搜索引擎搜索引擎蜘蛛浏览根目录时的个人行为，那麼能够 将自设的设定合拼到根目录下的robots.txt，或是应用robots数据库。