九三网络
  • 主页
  • 端口扫描
  • ip查询
  • whois查询
  • ICP备案查询
  • 免费API接口
  • 香港/韩国/美国服务器

robots.txt 生成器

默认 - 所有机器人是:
检索间隔:
Sitemap: (留空为无)
普通搜索机器人: Google googlebot
Baidu baiduspider
MSN Search msnbot
Yahoo yahoo-slurp
Ask/Teoma teoma
Cuil twiceler
GigaBlast gigabot
Scrub The Web scrubby
DMOZ Checker robozilla
Nutch nutch
Alexa/Wayback ia_archiver
Naver naverbot, yeti
 
特殊搜索机器人: Google Image googlebot-image
Google Mobile googlebot-mobile
Yahoo MM yahoo-mmcrawler
MSN PicSearch psbot
SingingFish asterias
Yahoo Blogs yahoo-blogs/v3.9
   
限制目录: 路径是相对的,但每个路径之前都要包含:"/"
现在,你创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去。把“robots.txt”放在你网站的根目录,并确保他能让访问者(如搜索引擎)访问到。
九三网络

九三网络科技有限公司

© 2025 tool.93net.cn

返回顶部