主页
端口扫描
ip查询
whois查询
ICP备案查询
免费API接口
香港/韩国/美国服务器
robots.txt 生成器
默认 - 所有机器人是:
允许
拒绝
检索间隔:
不限
5 秒
10 秒
20 秒
60 秒
120 秒
Sitemap:
(留空为无)
普通搜索机器人:
Google
默认
允许
拒绝
googlebot
Baidu
默认
允许
拒绝
baiduspider
MSN Search
默认
允许
拒绝
msnbot
Yahoo
默认
允许
拒绝
yahoo-slurp
Ask/Teoma
默认
允许
拒绝
teoma
Cuil
默认
允许
拒绝
twiceler
GigaBlast
默认
允许
拒绝
gigabot
Scrub The Web
默认
允许
拒绝
scrubby
DMOZ Checker
默认
允许
拒绝
robozilla
Nutch
默认
允许
拒绝
nutch
Alexa/Wayback
默认
允许
拒绝
ia_archiver
Naver
默认
允许
拒绝
naverbot, yeti
特殊搜索机器人:
Google Image
默认
允许
拒绝
googlebot-image
Google Mobile
默认
允许
拒绝
googlebot-mobile
Yahoo MM
默认
允许
拒绝
yahoo-mmcrawler
MSN PicSearch
默认
允许
拒绝
psbot
SingingFish
默认
允许
拒绝
asterias
Yahoo Blogs
默认
允许
拒绝
yahoo-blogs/v3.9
限制目录:
路径是相对的,但每个路径之前都要包含:"/"
现在,你创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去。把“robots.txt”放在你网站的根目录,并确保他能让访问者(如搜索引擎)访问到。