robots.txt 生成工具

工具说明

robots.txt生成工具是一款实用的在线工具，用于创建网站爬虫规则文件，帮助网站管理员控制搜索引擎爬虫的访问权限。

主要功能：
  • 生成标准的robots.txt文件内容
  • 控制搜索引擎爬虫对网站特定路径的访问权限
  • 指定网站的sitemap.xml文件地址
  • 支持多种用户代理（User-agent）配置
  • 适用于网站SEO优化和爬虫管理场景
参数说明
  • 允许爬虫：指定允许爬虫访问的路径（如 / 或 /public）
  • 禁止爬虫：指定禁止爬虫访问的路径（如 /private）
  • Sitemap：指定网站的sitemap.xml文件地址
  • User-agent：指定规则适用的爬虫类型（默认为 *，表示所有爬虫）
指定规则适用的爬虫类型，* 表示所有爬虫
指定允许爬虫访问的路径，多个路径请用换行分隔
指定禁止爬虫访问的路径，多个路径请用换行分隔
指定网站的sitemap.xml文件地址
指定爬虫访问页面的间隔时间（秒），可选

使用提示：

  • Allow和Disallow规则按照从上到下的顺序进行匹配
  • 路径区分大小写，建议使用小写字母
  • 生成后请将内容保存为robots.txt文件并放置在网站根目录
  • 可通过 /robots.txt 访问验证文件是否正确放置
推荐文章
robots.txt 使用技巧
  • 使用 * 作为通配符匹配任意字符序列
  • 使用 $ 匹配URL结尾
  • Disallow: 空值表示允许访问所有内容
  • 可以为不同爬虫设置不同规则
  • 定期检查和更新robots.txt文件