AI 视频平台如何防止恶意爬虫？

视频类流量和普通 Web 的三个差异

维度	普通页面	视频分发
单次会话请求数	数十个	成百上千个分片请求
带宽成本敏感度	低	极高，流出流量是主要成本项
盗刷隐蔽性	容易从 PV 异常发现	假播放量混在真实数据里，难察觉

正因为一个会话会产生海量分片请求，只做「每 IP 请求数」限流会立刻误伤正常用户——家庭宽带 NAT、移动网络出口、公司 Wi-Fi 都是共享 IP。视频场景必须先用签名令牌把「合法性」判据从 IP 转移到凭据上。

防护的五个层次

1. 签名 URL 与短时效令牌。 每个分片或播放会话签发带过期时间的令牌，令牌与用户会话/设备绑定，过期即失效。Cloudflare 的签名令牌机制（例如 Stream 的 signed tokens）可以把「拿到 URL 就能无限看」变成「拿到也只能用几分钟」。这一步是防盗链的地基。

2. 播放器接口会话级限流。 对 /playlist、分片请求、字幕/封面等元数据接口分别设配额，配额键优先用令牌里的用户/会话 ID，而不是源 IP。Cloudflare Rate Limiting rules 可以基于路径、请求头和正文/JWT 声明做组合计数。

3. 识别非浏览器拉流。 真正的脚本通常用 FFmpeg、curl 或 headless 内核直接请求 m3u8，缺少正常播放器会带的导航、指纹和节奏特征。Cloudflare Bot Management 依据 TLS 指纹、请求序列规律性和浏览器环境完整性给出 Bot Score；对高可疑请求下发托管挑战或要求通过 JS 校验，而不要一刀切封 IP。

4. 播放行为异常检测。 关注三类信号：单会话分片请求速率远超正常播放速率（例如 1 秒下载 10 分钟内容）、仅请求元数据从不拉分片（疑似批量采集目录）、大量会话只有开始播放没有心跳（疑似刷量）。

5. CDN 成本治理。 把「流出流量按目录/Referer/令牌维度」的账单级指标接入告警。很多平台是账单暴涨后才发现被盗刷，成本控制点和攻击检测点必须是同一处。

常见威胁与对应控制

威胁	典型特征	控制点
批量采集剧集目录	高频访问元数据、从不拉分片	元数据接口限流 + Bot Score 挑战
盗链/嵌入播放	外站 Referer、无签名令牌	短时效签名 URL，Referer 仅作辅助
假量刷播放	多会话只有 play 事件、无后续心跳	会话完整性校验 + 去重计数
凭据填充撞库	登录端点失败率突增、来源分散	登录限流 + Bot Management + 强制二次校验
CDN 流出成本失控	账单突增但 PV 平稳	按令牌/目录维度的带宽告警

边界与不适用情况

• 面向第三方播放器的开放内容（例如允许合作伙伴嵌入），严格的浏览器指纹校验会误伤合法嵌入场景，应改为按合作伙伴签发独立令牌并在合同里写明配额。
• 纯下载型长视频（如课程视频打包下载）本身就会产生连续大流量，不能简单地用「分片速率」判定盗刷，需要结合购买关系判断。
• DRM 与录屏分发：Bot Management 解决的是「批量自动拉取」，不能阻止已授权用户录屏再分发；需要 DRM（Widevine/FairPlay/PlayReady）与数字水印组合，录屏属于网络防护之外的范畴。
• 合规与隐私：采集设备指纹用于 Bot 判定时，要同步考虑隐私声明与地区合规要求。

FAQ

Referer 防盗链为什么不可靠？ Referer 由客户端控制，curl 一行就能伪造，只能作为辅助信号。真正的判据应该是签名令牌——过期即失效、与会话绑定。

签名 URL 会不会让 CDN 缓存失效？ 令牌放在 query 里会让边缘缓存粒度变细。正确做法是令牌只保护「播放列表/鉴权」入口，分片路径仍可缓存，或用带路径前缀的令牌策略平衡缓存命中与安全性。

该封 IP 还是下发挑战？ 共享出口普遍存在，优先挑战/限速；只对持续、明确、可归因的恶意来源才封 IP。

Bot Score 会误伤搜索引擎爬虫吗？ 主流搜索引擎有可验证的反向 DNS 与抓取声明，应加入允许列表后再看剩余分数的分布，而不是放宽整体阈值。