robots.txt 协议写法详解使用指南(完整版) 苏建报 网站建设 2019-05-08 5,265 次浏览 robots.txt协议, seo, 搜索引擎优化, 网站优化 robots协议 Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。 robots.txt 1. 什么是robots.txt...
