您現在的位置是:產(chǎn)品中心 >>正文

防止內容被抓取訓練AI 百度百科屏蔽谷歌/必應等搜索引擎

產(chǎn)品中心63373人已圍觀(guān)

簡(jiǎn)介快科技今日8月22日)消息,據報道,近日百度百科開(kāi)始屏蔽谷歌和必應等大多數搜索引擎,預計是為了阻止這些搜索引擎和其他爬蟲(chóng),未經(jīng)授權抓取百度百科的內容用于訓練AI。百度百科的robots.txt文件顯示 ...

快科技今日(8月22日)消息,防止據報道,內容近日百度百科開(kāi)始屏蔽谷歌和必應等大多數搜索引擎,被抓I百蔽谷預計是取訓為了阻止這些搜索引擎和其他爬蟲(chóng),未經(jīng)授權抓取百度百科的度百內容用于訓練AI。

防止內容被抓取訓練AI 百度百科屏蔽谷歌/必應等搜索引擎

百度百科的科屏robots.txt文件顯示,目前僅有百度搜索、歌必搜狗搜索、應等引擎中國搜索(Chinaso)、搜索YYSpider和宜搜搜索(EasouSpider)等少數幾個(gè)搜索引擎被允許抓取其內容。防止

谷歌搜索、內容必應搜索、被抓I百蔽谷微軟MSN、取訓UC瀏覽器的度百Yisouspider以及其他一切搜索引擎爬蟲(chóng)均被明確禁止抓取百度百科的內容。

雖然360搜索沒(méi)有在封禁列表中單獨列出,科屏但百度百科的策略是禁止一切非白名單爬蟲(chóng)抓取,所以360搜索和其他搜索引擎也都是被屏蔽的。

不過(guò)百度百科這種做法其實(shí)也只是防君子不防小人,肯定還有很多爬蟲(chóng)通過(guò)各種方式繼續抓取內容然后拿去訓練AI。

Tags:

相關(guān)文章

?
日本国产激情视频_中国av片永久免费_A级毛片免费中文字幕无码_亚洲污污无码网站在线观看