百科:Spider

2022-10-17 90

蜘蛛,也称Bot(机器人),Crawler(爬虫)。

蜘蛛是一个自动程序,它的作用是访问收集整理互联网上的网页、图片、视频等内容。比如百度蜘蛛会将互联网的各种内容抓取回来并分门别类建立索引数据库,使用户能在百度搜索引擎中搜索到想要的内容。
同理,Google使用Bot抓取网站,以便将其排名并添加到Google搜索。当垃圾邮件来源的Bot出于恶意原因访问网站时,有时能在Google Analytics中被显示为垃圾邮件。