robots.txt 生成
可视化配置爬虫规则，支持多 User-agent 指令，实时生成标准的 robots.txt 文件
🌐 全局设置
0
总行数
0
规则条数
0
User-agent 组
robots.txt 预览
# 请添加 User-agent 规则组，代码将实时生成
将生成的 robots.txt 文件放置在网站根目录下（如
/robots.txt），搜索引擎爬虫会在抓取前读取该文件。注意：robots.txt 是协议性的，恶意爬虫可能忽略这些规则。