#@author Zjmainstay
#@website http://www.zseoo.com
#@time 2016/10/01
#@usage 此文件正确命名为robots.txt，放于网站根目录

#蜘蛛协议测试
User-agent: *
#禁用全部，允许特例
#测试链接1：/?disallow_all_allow_one=notabc
#测试链接2：/?disallow_all_allow_one=abc
Disallow: /?disallow_all_allow_one=
Allow: /?disallow_all_allow_one=abc
#结果，全部禁用，特例允许

#禁用特例，允许全部
#测试链接3：/?disallow_one_allow_all=notabc
#测试链接4：/?disallow_one_allow_all=abc
Disallow: /?disallow_one_allow_all=abc
Allow: /?disallow_one_allow_all=
#结果，特例不允许，全部允许

#允许全部，禁用特例
#测试链接5：/?allow_all_disallow_one=notabc
#测试链接6：/?allow_all_disallow_one=abc
Allow: /?allow_all_disallow_one=
Disallow: /?allow_all_disallow_one=abc
#结果，允许全部，特例不允许

#允许特例，禁用全部
#测试链接7：/?allow_one_disallow_all=notabc
#测试链接8：/?allow_one_disallow_all=abc
Allow: /?allow_one_disallow_all=abc
Disallow: /?allow_one_disallow_all=
#结果，允许特例，禁用全部

#结果
#测试链接1：/?disallow_all_allow_one=notabc 不允许
#测试链接2：/?disallow_all_allow_one=abc    允许
#测试链接3：/?disallow_one_allow_all=notabc 允许
#测试链接4：/?disallow_one_allow_all=abc    不允许
#测试链接5：/?allow_all_disallow_one=notabc 允许
#测试链接6：/?allow_all_disallow_one=abc    不允许
#测试链接7：/?allow_one_disallow_all=notabc 不允许
#测试链接8：/?allow_one_disallow_all=abc    允许

#结论
#规则先后顺序无关，更完整的规则覆盖通配规则
#即：
#规则：?s=
#低于
#规则：?s=a
#低于
#规则：?s=abc

#测试同一个规则同时出现Disallow和Allow，是否受顺序影响
#先Allow再Disallow
Allow: /?allow_disallow=
Disallow: /?allow_disallow=
#结果
#测试链接9-1：/?allow_disallow=a    允许
#测试链接9-2：/?allow_disallow=abc  允许

#先Disallow再Allow
Disallow: /?disallow_allow=
Allow: /?disallow_allow=
#结果
#测试链接10-1：/?disallow_allow=a  允许
#测试链接10-2：/?disallow_allow=abc 允许

#结论
#相同规则同时写Allow和Disallow，Allow规则生效

#测试有没有目录分隔符的区别
#User-agent: *
#没有目录分隔符
#测试链接11：/tmp1
#测试链接12：/tmp1xxx
#测试链接13：/tmp1/
#测试链接14：/tmp1/xxx
Disallow: /tmp1

#有目录分隔符
#测试链接15：/tmp2
#测试链接16：/tmp2xxx
#测试链接17：/tmp2/
#测试链接18：/tmp2/xxx
Disallow: /tmp2/

#结果
#测试链接11：/tmp1 不允许
#测试链接12：/tmp1xxx 不允许
#测试链接13：/tmp1/ 不允许
#测试链接14：/tmp1/xxx 不允许
#测试链接15：/tmp2 允许
#测试链接16：/tmp2xxx 允许
#测试链接17：/tmp2/ 不允许
#测试链接18：/tmp2/xxx 不允许

#测试结论：/tmp1等价于/tmp1*，/tmp2/等价于/tmp2/*，规则从左到右需要每个字符匹配才适用该规则
#因此，/tmp1适用于以tmp1开头的链接，而/tmp2/适用于以tmp2/开头的链接

#测试顺序是否有关
Allow: /?no_sort=
Disallow: /?no_sort=a
Allow: /?no_sort=ab
Disallow: /?no_sort=abc
#结果
#测试链接19：/?no_sort=b 允许
#测试链接20：/?no_sort=a 不允许
#测试链接21：/?no_sort=ac 不允许
#测试链接22：/?no_sort=ab 允许
#测试链接23：/?no_sort=abb 允许
#测试链接24：/?no_sort=abc 不允许
#测试链接25：/?no_sort=abcd 不允许

#测试结论：规则先后顺序无关，更完整的规则覆盖通配规则