论爬虫协议对互联网竞争关系的影响——以'3B大战'为例

摘要

从爬虫协议的法律性质出发,研究了爬虫协议的内容,区分了爬虫协议以及根据爬虫协议制定的robots.txt.从反不正当竞争法角度而言,设置排斥性条款的robots.txt可能违背爬虫协议的自由和公平精神,从而违反公认的商业道德和诚实信用原则.从反垄断法角度而言,如果没有合理理由,具有市场支配地位的服务商利用robots.txt进行拒绝交易和歧视对待行为,可构成垄断行为.