刷新
设置
- -
开始
-
停止
-
继续
- 抓取状态: {% if data.pro_status[0] %}
运行中
{% else %}
已停止
{% endif %}
{% set sitemap = data.sitemap or {} %}
域名或抓取首页:(
必填
)
下载XML
下载TXT
页面抓取深度:
提取全部URL
?
文件下载保存路径:(
若不保存文件请不要填写此路径
)
转换为相对网址
?
页面后缀条件:(
所有text/html/image/css/js请设值为:*
)
对比较GET参数
?
抓取页面延时秒数:(
用于防CC抓取,抓取时请添加IP白名单或暂时关闭防CC等防火墙
)
继续上次抓取
?
Path正则限制:(
允许列表
禁止列表
)
{{sitemap.textarea or ""}}