爬虫犯法吗、爬虫抓公开数据违法吗、爬虫被抓判什么罪、数据采集刑事风险、提供爬虫程序犯罪、企业数据合规
爬虫没有天然的原罪
网络爬虫是互联网最普通的技术之一。搜索引擎依靠它发现网页，电商企业用它观察价格，研究机构用它收集公开样本，品牌部门用它了解舆情。把所有自动化采集都理解成非法侵入，互联网许多正常功能都无法运行。
刑事风险出现在技术行为越过授权边界之后。爬虫访问什么数据，用什么身份进入，是否绕过安全措施，抓取频率是否影响系统，数据如何使用，开发者知道客户要做什么，这些事实共同决定法律性质。
最高人民检察院公开文章提出，抓取公开数据原则上不应入罪，单纯违反 robots 协议也不宜直接入罪。这一观点给正常数据流通留下空间，同时没有为所有爬虫活动开绿灯。公开可见与可以任意采集并商业利用，也不是同一个问题。刑事、民事、行政和竞争法可能从不同角度评价同一行为。
讨论爬虫案件时，最怕只问一句“网站上能看到，为什么不能抓”。普通用户能在页面看到某项信息，只能说明存在一定公开性。页面是否需要登录，接口是否未公开，访问是否依赖他人账号，数据是否包含隐藏字段，平台是否设置有效防护，仍需继续审查。
第一条边界在数据是否真正公开
公开数据通常指无需特定身份、无需绕过权限，任何普通访问者都可以正常获得的数据。新闻标题、政府公告、公开商品价格，往往具有较强公开属性。
登录后才能查看的数据，公开程度会下降。平台注册用户可以查看，不代表第三方可以租用大量账号批量采集。企业内部员工可以访问的客户数据，更不能因为页面可以打开，就被视作向社会公开。
有些网页只展示昵称和头像，接口返回包里还包含手机号、设备标识、精确位置等字段。爬虫通过分析接口取得页面没有展示的字段，这些数据的公开性要分别判断。不能用页面上的一项公开信息，为接口里的全部数据提供授权。
数据公开也不等于后续使用不受限制。个人信息保护法关注处理个人信息的合法基础和必要范围。反不正当竞争法关注经营者是否不当利用他人具有竞争价值的数据资源。著作权法和商业秘密规则还可能保护特定内容。刑法上的出罪结论，并不自动消除其他法律责任。
实务中应先制作字段清单。每一个字段从哪里取得，是否页面可见，是否需要登录，是否属于个人信息，是否经过平台接口返回，采集后用于什么业务。只有把数据拆开，才能避免用“公开数据”四个字掩盖不同性质的内容。
第二条边界在访问是否取得授权
授权不是一个简单的有或无。它至少包括主体、对象、范围、期限和用途。
平台给某个商家开放店铺后台，授权主体是该商家及其合法操作人员。商家把账号交给第三方数据公司，第三方能否批量导出全部订单，要看平台规则和双方合同。
员工拥有查询权限，可能只为完成工作。离职前批量下载客户资料，或者使用同事账号访问更高权限区域，属于超越授权的典型风险。
接口授权也有范围。平台开放商品查询接口，不代表允许调用未公开的用户画像接口。测试环境授权不等于生产环境授权。一次安全测试的书面许可，也不等于长期收集数据。
一些爬虫项目使用从网上购买的账号、泄露的 cookie、共享令牌或模拟登录信息。技术团队如果不追问凭证来源，很容易卷入非法获取数据。客户提供账号只能证明客户交付了一个访问凭证，不能证明该账号属于客户，更不能证明平台同意批量采集。
授权争议应当回到可验证材料。接口文档、开放平台协议、客户合同、授权邮件、后台权限记录和操作日志，都比口头承诺可靠。对于需要登录的数据采集，项目立项时就应保存这些材料。
第三条边界在是否突破安全保护措施
验证码、访问频率限制、登录认证、接口签名、加密参数、设备指纹、令牌校验、反爬策略，都可能构成系统安全保护措施的一部分。
遇到验证码后调用识别平台继续批量请求，可能被认为是在避开验证。逆向客户端获得签名算法，伪造参数调用隐藏接口，风险高于普通页面访问。通过代理地址池不断更换来源，专门规避封禁，也会被用于说明程序具有对抗防护的功能。
但任何限制都不能自动上升为刑法意义上的安全措施。网站在 robots 文件中声明不希望某些目录被抓取，主要是一种机器可读的访问约定。违反该约定可能引发合同或竞争法问题，仍需结合是否突破技术防护、是否未经授权获取非公开数据、是否造成系统损害判断刑事责任。
高频访问也要区分。访问速度超过网站期待，可能只是配置不当。明知服务器承载能力有限，仍以大规模并发请求造成服务中断，法律评价会加重。如果程序的目的就是让系统无法正常运行，还可能涉及破坏计算机信息系统罪。
司法判断需要技术事实支撑。平台采取了何种措施，措施是否真实有效，爬虫怎样绕过，绕过后获得了什么额外能力。只凭平台一份“情况说明”声称对方突破防护，不足以呈现完整过程。
提供爬虫程序的人为什么也可能构罪
使用者自己运行爬虫并非法获取数据，可能涉嫌非法获取计算机信息系统数据罪。开发者把具有侵入功能的程序交给使用者，可能涉嫌提供侵入、非法控制计算机信息系统程序、工具罪。
两者的区别在行为位置。提供工具罪把部分帮助行为单独规定为犯罪，关注的是开发、销售和交付侵入工具。非法获取数据罪关注的是行为人亲自采用侵入或其他技术手段取得系统中的数据。
开发者如果既写程序，又负责部署账号、选择目标、运行任务和交付数据，角色可能不再只是提供工具。案件需要判断其是否直接参与非法获取，是否与客户形成共同故意。
普通爬虫框架具有大量合法用途，不能因某个客户违法使用就推定作者有罪。提供中性工具需要重点证明明知。客户明确要求绕过平台验证，开发者加入破解模块并持续修复封禁问题，明知证据会增强。开发者只提供公开网页采集组件，对客户后来私自加入侵入模块并不知情，责任评价应当区分。
2025年公开的一起“暴力获客”软件案件很有代表性。涉案程序突破短视频平台签名校验和未公开混淆编码，批量取得直播间用户信息及平台非公开数据，并被用于恶意截流。开发人员和多名代理被追究刑事责任。案件说明，营销名称无法遮盖程序的技术路径和数据用途。
Robots 协议到底有多大作用
Robots 协议最初用于网站向爬虫表达哪些区域允许或不希望被访问。它是一种行业通行的交互方式，在搜索引擎和网站之间具有现实意义。
单纯违反 robots 协议不宜直接认定犯罪，因为刑法上的侵入需要更严格的违法性判断。如果网站没有设置身份认证或技术防护，数据向不特定公众公开，爬虫只是未遵守单方声明，通常还不足以完成刑事归责。
这不代表 robots 协议毫无价值。它可以作为判断行为人是否收到明确反对、是否明知网站限制自动化访问的事实之一。行为人看到明确禁止后，又使用代理地址、伪装请求头、破解验证继续抓取，整套行为会呈现更强的对抗性。
民事案件中，违反 robots 协议还可能与行业惯例、商业道德和不正当竞争判断相关。企业不能只问会不会坐牢，也要考虑数据权利、个人信息、商业秘密和平台合同责任。
数据数量大不等于当然犯罪
不少企业担心，只要抓取数量巨大就会被刑事立案。数量确实影响危害程度，但数量本身不能替代违法性。
合法开放接口每天同步上百万条商品信息，数据量很大，授权基础明确。有人只取得少量支付账号和密码，数量不大，数据敏感性和行为危险却很高。评价不能脱离数据类型和获取方式。
司法解释对非法获取身份认证信息、控制计算机系统数量、违法所得和经济损失设有门槛。提供工具罪还设置五人次、二十人次和违法所得标准。具体案件应当适用对应罪名的门槛，不能把不同条款里的数量相互挪用。
数据去重也很重要。同一条记录在多个备份文件中出现，不能重复计算。测试数据、无效数据、公开数据和非公开数据可能混在一个数据库里，应当分别统计。办案机关根据数据库总行数得出涉案数量时，应说明去重规则、有效性校验和字段性质。
企业损失也需要因果关系。平台为全面升级系统支出的全部费用，未必都由某一爬虫项目造成。直接修复费用、业务中断损失和日常安全投入应当区分。
爬虫案件常见的罪名交叉
爬虫突破系统防护并获取数据，首先可能涉及非法获取计算机信息系统数据罪。向他人提供相应程序，可能涉及提供工具罪。
数据含有姓名、手机号、行踪轨迹、账号信息等个人信息，达到相应情节，还可能涉及侵犯公民个人信息罪。这里需要审查信息类型、数量、来源和用途，不能只按数据库行数粗略计算。
抓取企业不为公众知悉、具有商业价值并采取保密措施的数据，可能涉及侵犯商业秘密罪。企业是否采取保密措施，数据是否真正秘密，行为人是否使用不正当手段，是判断重点。
大量复制传播受著作权保护的文章、图片、电子书，可能涉及侵犯著作权。抓取竞争对手平台内容并替代其服务，还可能构成不正当竞争。
爬虫造成目标系统不能正常运行，或者恶意删除、修改数据，可能涉及破坏计算机信息系统罪。
一个技术行为可能同时触及多个法益。办案时应确定每个罪名保护什么、行为造成什么结果，避免只因罪名听起来接近就重复评价。
企业开展数据采集需要怎样的合规流程
第一步是确认业务目的。为了价格比较、风险监测、研究分析还是客户画像。目的不同，所需字段和保存期限不同。没有明确目的的“先抓回来再说”，往往导致过量采集。
第二步是确认数据来源。公开网页、开放接口、客户授权后台、第三方供应商，各自需要不同的权利证明。第三方声称数据合法时，仍要核验其取得路径和转授权能力。
第三步是进行字段分级。公开内容、个人信息、敏感个人信息、商业秘密、身份认证信息，应当分别标记。高风险字段应限制采集，必要时开展个人信息保护影响评估。
第四步是审查技术方式。是否登录，是否使用代理池，是否绕过验证码，是否逆向签名，访问频率是否可能影响系统。技术团队要把实际实现方式告诉法务，不能只提交一句“爬虫采集”。
第五步是落实最小必要。只抓业务需要的字段，控制频率和时间，设置删除期限，对个人信息去标识化。留存操作日志，便于出现争议后说明数据从哪里来、谁访问过。
第六步是建立退出机制。平台明确反对、接口权限被收回、数据性质发生变化时，应暂停任务并重新评估。封禁后立即更换地址继续访问，会增加对抗防护的印象。
案件发生后怎样还原技术事实
先固定涉案版本。爬虫在不同时间可能使用不同模块，不能用最终版本覆盖全部历史。代码仓库提交记录、安装包哈希值和服务器部署日志可以确定版本变化。
再绘制数据流。账号从哪里来，请求发送到哪个地址，平台返回哪些字段，数据存在哪里，最后交给谁。数据流图能把复杂技术争议转化为可审查事实。
随后核对授权。每个账号、接口和数据字段对应什么授权材料，是否超出期限和用途。没有授权的部分与有授权的部分应当分开。
还要复核电子数据提取。服务器镜像是否完整，数据库是否去重，聊天是否只截取不利部分，平台日志是否经过校验。原始介质、校验值、提取笔录和鉴定材料关系到证据真实性。
最后区分个人作用。提出需求的人、编写绕过模块的人、运行任务的人、购买数据的人，责任基础不相同。不能因为代码仓库中出现某个姓名，就推定该人了解全部业务。
对爬虫刑事边界的一点看法
数据流通和数据安全都值得保护。过度扩大刑事打击，会让正常搜索、研究和创新承担不可预期的风险。把所有违反平台规则的采集都视作侵入，也可能把平台的单方规则直接变成刑法边界。
反过来，技术人员以“互联网数据都可以抓”为理由，绕过验证、盗用账号、批量获取个人信息，同样忽视了系统控制者和数据主体的权益。
较为可靠的分界，应当抓住实质事实。数据是否真实公开，访问是否获得授权，是否突破有效安全措施，是否侵害重要数据权益，行为人是否明知并持续对抗。刑法介入需要这些事实形成足够强的违法性，普通违约和一般不正当竞争应留在相应法律轨道处理。
爬虫没有原罪，也没有天然免责。技术的合法空间，最终来自清晰授权、克制采集和可追溯的操作过程。
数据购买方也不能把风险全部推给供应商
许多企业不自行写爬虫，直接向数据供应商购买结果，以为风险因此转移。数据来源违法时，购买方是否知道、是否参与定制、是否继续使用，仍可能受到审查。
供应商声称数据来自公开渠道，购买方应要求说明具体网址、采集时间、字段和授权。报价远低于正常获取成本，却能提供手机号、身份标识和后台经营数据，本身就是风险信号。
采购合同可以要求供应商保证合法来源、配合审计和承担违约责任。合同条款只能分配民事风险，无法替代真实审查。业务人员明知数据通过破解账号取得，仍下单并指导字段抓取，纸面保证很难说明善意。
数据交付后还要控制用途。原本用于市场分析的数据被销售团队拿去精准骚扰，企业内部同样可能产生个人信息和数据合规问题。应限制访问人员，记录使用目的，到期删除。
购买数据看似离爬虫技术较远，需求方往往决定抓什么、抓谁、抓到什么程度。刑事案件还原完整链条时，出钱并提出非法需求的一方不会天然置身事外。
判断公开数据还要防止一个误区
有些项目把登录后的页面称为“半公开数据”，认为注册一个免费账号便可以无限抓取。法律并没有因为注册免费，就把账号内全部内容视为向不特定公众开放。
登录动作可能只是基础身份确认，也可能承担访问控制。页面字段、接口返回、下载权限仍需分别判断。使用一个账号正常查询，与维护数万个账号并规避频控，行为强度和授权范围不同。
公开性的判断应立足普通用户在正常规则下能否取得。需要破解、伪造身份或调用隐藏接口才能获得的数据，通常很难仅凭“注册不收费”说明公开。
这一分析能够避免把公开与免费混同，也提醒平台不能仅靠把公开页面放在登录墙后，就把所有信息绝对私有化。最终仍要回到访问控制的实际功能和数据权益。
资料来源