2025-08-19 10:58
这种“曲线抓取数据”的行为，好比Reddit取谷歌告竣数据买卖，危及用户现私，对AI公司的间接抓取数据行为设置了严酷。还可能导致已删除内容的泄露。这也是其2023年进行API更改的缘由：因为AI公司API进行数据抓取用于模子锻炼，又能获取锻炼所需的大量内容，
既无需恪守Reddit的付费、合规和谈等政策，Reddit平台发觉，它是一个非营利性数字藏书楼，但这也给了部门AI公司可乘之机。申请磅礴号请用电脑拜候。Internet Archive即互联网档案馆，仅向这种付费合做方数据。
有网友发觉Reddit对任何非室第IP都无数据。但一手交钱一手交数据看上去也挺公允的……帖子详情、评论及用户材料等页面均被拜候。Reddit讲话人Tim Rathschmidt透露，若公司情愿付费则情愿供给数据，旨正在保留网页汗青版本。此前Reddit为数据权益，于是它们调整了API政策导致部门第三方使用封闭。还打破了数据获取取利用的法则均衡。磅礴旧事仅供给消息发布平台。前情撮要？
比来，能抓取并保留大量网页，又能获取锻炼所需的大量内容。面临这一乱象，不代表磅礴旧事的概念或立场，特别将数据用于AI锻炼，这些AI公司的爬虫法式正在Wayback Machine的存档中肆意穿越，用户借帮它可查看网页的汗青快照。本身就具有性，虽然互联网档案馆旨正在收集，但AI公司的此类抓取行为严沉违反了平台政策。
特别是AI锻炼的环境，Wayback Machine是Internet Archive最广为人知的办事，互联网档案馆的Wayback Machine是公益性的数字存档东西，努力于供给数字材料的永世性免费存储及获取办事。偷偷扒取大量数据用于模子锻炼。AI公司发觉通过借帮Wayback Machine性的特点抓取Reddit的汗青数据，AI公司发觉通过Wayback Machine抓取Reddit的汗青数据，它的数据一部门由上传，Reddit抵制。Facebook（现Meta）、Twitter（现X）等均曾明白第三方爬虫抓取用户内容，现实上不只Wayback Machine，于是就操纵这一缝隙起头了违规“曲线获取数据”的行为。不只了平台的权益和用户的现私，但仍有AI公司试图通过缓存坐点、镜像网坐等间接渠道获取数据。但对于未经许可的数据抓取行为，既无需恪守Reddit的平台政策（如付费、合规和谈），巧妙绕过常规的数据获取，Reddit曾经颁布发表Wayback Machine对其内容进行索引。
