网络爬虫仍是市场监测、价格比对、舆情分析和模型训练中最常用的采集工具。过去两年，爬虫所处的法律环境已发生实质变化：国内新修订的《反不正当竞争法》自2025年10月15日起施行并增设“数据专款”，北京互联网法院已于2026年6月据此作出首例判决，北京知识产权法院则在2026年9月的二审案件中按分级分类原则划定了公开数据的保护边界；同期，美、欧、日也在重划公开数据的抓取边界。本文梳理其合规判断框架。
一、公开不等于可自由抓取：三个常见误判
其一是把“公开可见”等同于“无主财产”。中国法下，平台经用户授权、长期投入汇聚而成的数据集合，即便单条信息取自公开页面，集合本身仍可能构成受反不正当竞争法保护的竞争性权益。北京知识产权法院2026年9月审结的一案中，被告破解接口验证与签名，抓取店铺历史订单、令牌价格、商品价保金额等数据；二审确认平台对数据集合享有合法竞争权益，并按分级分类原则划分原始数据与衍生数据、公开数据与非公开数据的保护边界，一审判赔经济损失150万元及合理开支10万元，二审维持。
其二是把遵守 robots 协议当作充分合规。robots.txt 只是行业惯例，既非授权书，也非免责声明。真正的分水岭在于是否绕过登录验证、破解接口签名、规避访问权限与频率控制。
其三是将“只抓公开页面”当作刑事安全线。刑事评价的核心是是否采用技术手段突破系统防护或超越授权范围，与数据是否公开不必然对应。
二、中国法下的四层规制
第一层是刑事。爬虫行为最常见的罪名是《刑法》第二百八十五条第二款的非法获取计算机信息系统数据罪，开发、提供爬虫程序的还可能触及同条第三款的提供侵入、非法控制计算机信息系统程序、工具罪。上海静安区法院2025年6月3日的一审判决具有代表性：某公司借用临时账号期间指令员工编写爬虫程序，超越授权、避开下载限制，抓取数据1800余万条，商业价值经鉴定近1400万元；法院认定情节特别严重，判处被告单位罚金、实际控制人有期徒刑三年并宣告缓刑，检察机关明确提出“合法授权不等于无限授权”。另一起由上海普陀区检察院2025年8月28日提起公诉的案件中，提供爬取接口者以提供侵入计算机信息系统程序罪定罪、使用者以非法获取计算机信息系统数据罪定罪，涉案餐饮商超类数据8亿余行。
第二层是数据安全与个人信息。《数据安全法》第三十二条禁止以窃取或其他非法方式获取数据；《个人信息保护法》第十三条、第二十七条允许在合理范围内处理已合法公开的个人信息，但对个人权益有重大影响的仍需另行同意。更具操作意义的是《网络数据安全管理条例》第二十四条：因使用自动化采集技术等无法避免采集到非必要个人信息，或未依法取得个人同意的，应当及时删除或作匿名化处理；技术上难以实现的，应停止除存储和必要安全保护措施之外的处理，此为爬虫项目的采后义务。
第三层是竞争法。2025年修订的《反不正当竞争法》第十三条第三款明确禁止“以不正当方式获取、使用他人合法持有的数据”。北京互联网法院2026年6月审结的首例适用该款案件提炼出要件：原告数据合法持有并形成竞争优势；被告以注册多账号、编写爬虫等方式避开技术防护措施获取；使用行为对原告主营业务产生实质性替代；损害经营者权益并破坏数据流通秩序。被告被判赔偿20万元及合理开支3万余元。湖北省高级人民法院2026年4月发布的典型案例中，某软件通过插件技术获取电商平台商业数据并对账户“恶意打标”，被认定超出数据有序流通和合理利用范畴，判赔200万元及维权开支6.78万元。
第四层是著作权与合同。网页文本、图片、数据库编排可能构成作品或受邻接权保护，跨境场景下还要叠加目标站点所在法域的数据库权；用户协议、API 协议与 robots 协议构成合同约束，常是海外被诉时最先被援引的依据。
三、境外镜鉴：美、欧、日的不同路径
美国的裁判重心已从“是否侵入”转向“是否受合同约束”。hiQ 诉 LinkedIn 案中，第九巡回上诉法院2022年4月重申，对公众开放的网站一般不适用《计算机欺诈与滥用法》的“未经授权”条款；但同年12月双方和解，hiQ 承担50万美元赔偿并接受永久禁令，争议最终落在用户协议违约与侵权之诉。2024年1月，加州北区法院在 Meta 诉 Bright Data 案中作出即决判决，认定未登录状态下抓取公开页面的主体不受平台服务条款约束。
最新的分水岭出现在2026年：同年7月31日，纽约南区法院在 Reddit 诉 SerpApi、Perplexity 案中驳回了被告的大部分驳回动议，认为绕过谷歌 SearchGuard 抓取 Reddit 内容可能构成《数字千年版权法》第1201条的规避技术措施；11天前，加州北区法院却驳回了谷歌就同一被告提出的类似请求，理由是谷歌未主张搜索结果本身享有著作权。两案合起来说明：技术规避本身不必然违法，关键在于技术屏障之后是否存在受著作权保护的客体。
欧盟的态度最为严格，且已与人工智能监管打通。荷兰数据保护局2024年9月3日对 Clearview AI 处以3050万欧元罚款，认定其在无告知、无同意、无合法基础的情况下抓取逾300亿张人脸图像。《人工智能法案》下，通用人工智能模型义务自2025年8月2日起适用，自2026年8月2日起欧盟委员会取得罚款权，上限为1500万欧元或全球年营业额3%；模型提供者须发布训练数据摘要，并遵守《版权指令》第4条的文本与数据挖掘退出机制，机器可读的 robots.txt 由此获得版权法意义。另需注意，2026年7月27日生效的“AI 综合简化法案”将独立高风险 AI 系统义务延至2027年12月2日、嵌入受监管产品的延至2028年8月2日；《数据法案》的产品设计义务自2026年9月12日起适用。
日本的路径更贴近竞争法。令和5年法律第51号修正、2024年4月1日施行的《不正当竞争防止法》将“作为秘密管理的大数据”纳入“限定提供数据”保护，并扩充使用推定规则与损害额计算，权利人可就超出自身产能的损失主张相当于许可使用费的赔偿。中国企业出海日本采集或对外提供数据时，这比著作权更直接。
四、爬虫项目的合规清单
一是来源核查：登录墙之后、需接口签名或授权令牌才能获取的数据，一律按“须授权”处理。二是方式核查：能用官方 API 就不必用爬虫；确需抓取的应遵守 robots 协议与服务条款，限速错峰、如实标识身份。三是身份核查：批量注册、虚假账号、以 IP 轮换隐藏身份，易被认定“不正当”。四是内容核查：对抓取结果中的个人信息作最小化处理，非必要或未取得同意的，按《网络数据安全管理条例》第二十四条删除或匿名化。五是用途核查：评估结果是否对原始数据形成实质性替代。六是跨境核查：叠加评估目标站点所在法域的著作权、数据库权、竞争法与个人信息法。七是留痕：保存数据来源、授权文件、抓取日志与评估报告，涉重要数据或处理1000万人以上个人信息的另行履行风险评估与出境合规义务。
五、结语
爬虫的合规判断，核心不在“技术上能不能做到”，而在“权利边界允不允许”。2025年以来的中外裁判共同指向一条主线：数据的公开性解决的是访问自由问题，不解决使用正当性问题；是否绕过技术防护措施，是贯穿民事、行政与刑事评价的共同标尺。对当事人而言，立项阶段一次合规评估的成本，远低于事后应对禁令、赔偿与刑事调查；对律师同行而言，事实组织宜围绕“授权范围—技术措施—替代效果—损害后果”依次展开。
