互聯(lián)網(wǎng)工程任務(wù)組 (IETF) 成立了一個(gè)工作組,旨在制定新標(biāo)準(zhǔn),讓內(nèi)容創(chuàng)作者能夠向 AI 開發(fā)者表明是否允許使用其作品。該工作組將開發(fā)統(tǒng)一詞匯表來(lái)表達(dá)作者和出版商對(duì) AI 訓(xùn)練使用其內(nèi)容的偏好,并探索將這些偏好附加到互聯(lián)網(wǎng)內(nèi)容的方法。這一舉措源于當(dāng)前系統(tǒng)的ineffectiveness,以及內(nèi)容創(chuàng)作者對(duì) AI 公司未經(jīng)許可抓取內(nèi)容的不滿。
SourceHut等網(wǎng)站面臨AI爬蟲過(guò)度抓取數(shù)據(jù)的挑戰(zhàn),導(dǎo)致服務(wù)速度下降。這些爬蟲主要用于訓(xùn)練大型語(yǔ)言模型,但其行為往往不受約束。網(wǎng)站采取各種措施應(yīng)對(duì),包括封鎖某些云服務(wù)提供商和部署反爬蟲工具。然而,這些措施可能影響正常用戶訪問(wèn)。AI爬蟲的不當(dāng)行為已成為一個(gè)普遍問(wèn)題,引發(fā)了對(duì)網(wǎng)絡(luò)資源使用和數(shù)據(jù)收集方式的討論。