网络爬虫安全：90后小伙，用软件非法搬运他人原创视频被判刑

网络爬虫安全：90后小伙，用软件非法搬运他人原创视频被判刑

央视《今日说法》栏目近日报道了一名程序员开发非法视频搬运软件获利超700多万，最终获刑的案例。

国内某知名短视频平台报警称，有人在网络上售卖一款视频搬运软件，使用软件的人可以绕过平台的审核机制，一键“搬运”窃取他人作品非法转载投稿。警方调查发现，在这背后是一条违法犯罪的产业链条，犯罪团伙的上游开发制作非法软件，通过更改短视频平台的代码，逃避平台监管。

犯罪嫌疑人 90 后程序员周某交代，这款软件主要用于非法搬运视频，支持视频镜像，去水印，草稿替换，摄像头替换等功能，修改后的视频支持在快手、抖音、哔哩哔哩、小红书、西瓜视频等主流视频平台一键发布，从而协助他人实现账号“快速涨粉”目的。从 2022 年 5 月到20 23 年 3 月份，周某累计获利 700 多万元。目前周某已被判有期徒刑 3 年、缓刑 5 年；而负责软件销售的从犯陈某被判有期徒刑 3 年、缓刑 3 年 2 个月。

违法视频搬运软件是网络爬虫

该案件中，非法下载视频内容的软件是网络爬虫。网络爬虫，又被称为网页蜘蛛，网络机器人，是按照一定的规则，自动地抓取网络信息和数据的程序或者脚本。

2022年11月，顶象防御云业务安全情报披露，某社交媒体平台遭遇持续性的网络爬虫盗取。大量用户信息和原创内容被网络爬虫盗取，被黑灰产转售给竞争对手或直接用于恶意营销。

数据显示，2023年全球数据盗取量将达到1900亿条，其中超过80%的数据来自网络爬虫。网络爬虫通常会通过编程的方式自动访问网站，获取用户信息或数据。这类行为不仅侵犯了用户的隐私，也给企业造成了巨大的经济损失。

如何发现偷盗视频的爬虫？

现在的网络爬虫程序具有随机 IP 地址、匿名代理、身份修改、模仿人类操作行为等特征，非常难检测和阻止，需要在多个维度进行识别与分析。

• 访问目标：恶意的网络爬虫的目的是获取网站、App的核心信息，比如用户数据、商品价格、评论内容等，因此它们通常只会访问包含这些信息的页面，而忽略其他无关的页面。

• 访问行为：网络爬虫是由程序自动执行的，按照预设的流程和规则进行访问，因此它们的行为具有明显的规律性、节奏性和一致性，与正常用户的随机性、灵活性和多样性有很大差异。

• 访问设备：恶意的网络爬虫的目标是在最短时间内抓取最多信息，因此它们会使用同一设备进行大量的访问操作，包括浏览、查询、下载等，这会导致该设备的访问频率、时长、深度等指标异常。

• 访问IP地址：恶意的网络爬虫为了避免被网站识别和封禁，会采用各种手段变换IP地址，比如使用云服务、路由器、代理服务器等。这会导致该IP地址的来源地域、运营商、网络类型等信息不一致，或者与正常用户的分布有明显偏差。

• 访问时间段：恶意的网络爬虫为了减少被发现的风险，通常会选择在网站流量较低、监控较弱的时间段进行批量爬取，比如深夜、凌晨等。这会导致该时间段内的访问量、带宽占用等指标异常。

• 大数据建模挖掘：通过对网站正常用户和网络爬虫的访问数据进行收集、处理、挖掘和建模，可以构建出专属于网站自身的爬虫识别模型，从而提高识别准确率和效率。

拦截违法网络爬虫

网络爬虫的攻击手段也日益智能化和复杂化，仅仅依靠限制访问频率或者前端页面加密已经难以有效防御，需要提升人机识别技术，增加异常行为的识别和拦截能力，以限制网络爬虫的访问，提高恶意盗取的攻击成本。