知乎已经残缺停止google战必应搜查抓与内容 看起去真怕内容被实习AI? – 蓝面网
时间:2024-12-23 08:55:20 出处:IoT与边缘计算阅读(143)
今日诰日蓝面网提到知乎匹里劈头被迫要供登录账号,知乎战必可则将停止审查知乎问问战专栏的已经应搜残缺内容,以前经由历程剧本屏障知乎登录弹窗已经出分心义,残缺查抓由于屏障弹窗后要审查内容借是停止会继绝弹出登录窗心。
为甚么要被迫用户登录临时借不明白,内容思考到知乎正在搜查引擎中的看起权重颇为下,各小大搜查引擎检索问题下场时皆可能看到排正在前里的怕内知乎页里,被迫登录将对于小大量用户组成影响。容被
一个可能的实习原因是知乎没无违心自己的内容被各小大搜查引擎或者其余爬虫抓与拿往实习 AI 模子,目下现古被迫登录后念要限度抓与正在足艺足腕上玄色常随意的蓝面,好比某个用户短时格外拜候小大量页里,知乎战必那确定是已经应搜不同样艰深的。
借停止google战必应等搜查引擎:
值患上看重的是,今日诰日早上蓝面网接到网友的停止反映反映,知乎 robots.txt 文件已经正在 4~5 月某个光阴删改(详细时候概况是内容 5 月 22 日,与知乎被迫登录时候远似),这次删改知乎仅许诺baidu搜查战搜狗(搜狗是新删的,以前停止搜狗抓与内容)抓与其内容,不再许诺其余搜查引擎内容。
知乎正在多少年前曾经与baidu告竣开做因此正在baidu搜查中知乎的页里权重颇为下可能患上到更多面击量,目下现古只许诺baidu战搜狗而停止其余残缺搜查引擎,不知讲知乎是不是已经与baidu告竣为了某些圆里的战讲。
古晨的那类形态是用户正在知乎宣告的任何新内容,皆不会被google战必应支录了,也即是知乎残缺新内容正在google战必应上皆出法再查到。
小大多少率借是 AI 实习问题下场:
不论是被迫登录借是停止搜查引擎抓与内容,那些操做看起去皆颇为像是知乎为了不自己的内容被抓与而拿往实习家养智能,那战以前埃隆马斯克对于 X/Twitter 的操做素量上也即是远似的。
对于小大型内容网站去讲趁着 AI 飞腾卖数据确凿是个比力不错的变现格式,但停止抓与也象征着凋谢的互联网正正在逐渐走背启闭。
将去可能会有更多网站停止搜查引擎或者其余爬虫抓与内容导致也同样被迫要供登录,对于互联网用户去讲那确定不是一个好新闻。
附知乎此前的 robots.txt 文件:(2024-04-28)
User-agent: GooglebotDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Googlebot-ImageDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-newsDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: BaiduspiderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-renderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-imageDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: bingbotDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-Agent: *Disallow: /
最新的 robots.txt 文件(2024-05-27):
User-agent: Baiduspider-newsDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: BaiduspiderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-renderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-imageDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Sogou web spiderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /tardis/sogou/Disallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-Agent: *Disallow: /
感开感动网友 颜平明 投递的新闻