蜘蛛程序（蜘蛛程序的主要任务是）

大家好，今天来为大家解答蜘蛛程序这个问题的一些问题点，包括蜘蛛程序的主要任务是也一样很多人还不知道，因此呢，今天就来为大家分析分析，现在让我们一起来看看吧！如果解决了您的问题，还望您关注下本站哦，谢谢~

本文主要内容一览

• 1、蜘蛛能爬重定向的网站吗
• 2、蜘蛛引擎靠什么跳
• 3、吸引蜘蛛的方法
• 4、蜘蛛程序的主要任务是
• 5、目录类搜索引擎有哪些

蜘蛛程序（蜘蛛程序的主要任务是）

1蜘蛛能爬重定向的网站吗

301重定向，对做过搜索引擎优化的人来说，并不陌生。不过对于刚接触seo的菜鸟，也许是一件陌生的事情。简单通俗介绍，301重定向就是一个网页永久地被从一个URL转移到另一个URL。

既然301重定向是把一个URL永久地转到另一个。那么我们什么时候才需要用到这种技术呢?其实，我们在建设网站时，时常会遇到页面需要重定向。比如网页的目录结构发生改变，网页扩展名改变，网站更换新域名等。表面上，301重定向不就是把一个URL永久转到指定的地方。但是对于搜索引擎，它的意义就不一样。301状态代码会告诉蜘蛛程序网页已经被永久地改变到新的URL上，并会使得蜘蛛程序做两件极其重要的事情：

1、爬过新的URL的网页。蜘蛛程序会按照你的意思，使用301重定向所提供的新的URL来找到并爬过新的页面。它会索引页面上的所有内容，并会把新的URL收录到索引库中，因此所有带有那个网页的搜索会引导搜索者到新的URL上，而不是旧的。

2、将旧网页上的所有连接价值进行传递。我想大家都知道链接对于网站的重要性，当其他网页链接到你的网页时，就会给你的网站传递权重。当蜘蛛程序看到301重新链接，它也会更新索引库中所有的链接信息，因此在旧的URL下你网页的所有的链接权重会被转移到新的URL下。

总结起来就是，网站更换域名或URL发生变化时，你要对网站做重定向，确保网站权重和用户不会流失。当然，重定向的方法有很多，但是301重定向对搜索引擎比较友好。

蜘蛛程序（蜘蛛程序的主要任务是）

2蜘蛛引擎靠什么跳

靠数据库跳。蜘蛛在网页上爬取到的链接就会放在一个单独的数据库里面，这些数据库都有自己的属性，通常后缀都有相关的域 名信息，然后蜘蛛就会把这些域名后缀链接放到数据库，逐个爬取，很多人可能以为蜘蛛是通过点开链接的方式来爬行的，这自然是一种误解，如果算法是这样，那 效率是极其低下的！蜘蛛还可以通过反链来爬取，而且通过发链爬取的次数越多，蜘蛛就会认为你网站非常受欢迎，从而就会给你网站赋予更高的权重

3吸引蜘蛛的方法

吸引蜘蛛的方法如下：

1、时间段更新内容，时间段意思是更新网站内容时间要一致例如seo外包公司每天在晚上11：30分更新网站内容那么你可以理解为是一个时间段，你每天在这个时间段更新网站内容,那么蜘蛛每天在晚上11：30分会来爬行抓取你的网站。

2、高质量的内容，一个高质量的网站是蜘蛛最喜欢的，能吸引蜘蛛频繁来光临你的网站千万不要发大量采集的内容这样会加大蜘蛛抓取的工作量，从而降低蜘蛛对你网站的好感度，宁愿少更新高质量内容，也不要去做垃圾内容等无用功。

3、广发外链，总所周知发外链是为了引蜘蛛来抓取我们网站，到各大外链平台发布自己的高质量外链留下链接引导蜘蛛进入你的网站发外链要找相关性的外链平台尽量选择权重较高；快照更新快收录量高的平台，这样让蜘蛛更快的来到我们的网站。

蜘蛛体验

蜘蛛体验即搜索引擎算法对网站的评价。每个搜索引擎都有自己的蜘蛛程序，蜘蛛程序通过网页的链接地址来寻找网页，直到把这个网站所有的网页都抓取，然后通过搜索引擎算法对网站进行评估得出评价。

把互联网比作蜘蛛网，那么蜘蛛程序在各网站上形象的爬行活动就被誉为蜘蛛体验，蜘蛛程序依据算法通过分析一个网站的结构布局合理性、优质外链和原创性文章的数量、网站内容的更新频率以及网站整体对用户的体验等方面来判断该网站的好坏。

4蜘蛛程序的主要任务是

蜘蛛程序的主要任务是抓取网页。蜘蛛程序，它无时无刻不在运行，主要任务是从因特网上搜集各种的信息资源，然后通过压缩处理等手段，使其占用空间变小，最终存到存储库里，为日后用户检索做准备。

5目录类搜索引擎有哪些

问题一：目录索引类，元，全文搜索引擎有哪些？ 搜索引擎按照工作方式可以分为三类：1、目录搜索引擎：目录搜索引擎主要有yahoo！、LookSmart、About、DMOZ、Galaxy等。2、全文搜索引擎：全文搜索引擎主要有Google、百度、AltaVista、Inktomi、Alltheweb等。3、元搜索引擎：元搜索引擎主要有InfoSpace、Dogpile、Vivisimo、北大天网、搜狐、Lycos、Meta crawler等。

问题二：目录索引类搜索引擎有哪些 一般是分普通网站内容和音乐两种 百度 google Yahoo雅虎 搜狐搜索 新浪搜索 网易搜索 中搜 天网搜索 中华搜索 极限搜索 网蛙搜索 3721搜索 QQ搜索 TOM搜索

问题三：目录索引搜索引擎有哪些 百度 google Yahoo雅虎 搜狐搜索 新浪搜索 网易搜索 中搜 天网搜索 中华搜索 极限搜索 网蛙搜索 3721搜索TOM搜索

问题四：目录搜索用什么搜索引擎 搜索引擎按其工作方式主要可分为三种，分别是全文搜索引擎（Full Text Search Engine）、目录索引类搜索引擎（Search Index/Directory）和元搜索引擎（Meta Search Engine）。

全文搜索引擎是名副其实的搜索引擎，国外具代表性的有Google、Fast/AllTheWeb、AltaVista、Inktomi、Teoma、WiseNut等，国内著名的有百度（Baidu）。它们都是通过从互联网上提取的各个网站的信息（以网页文字为主）而建立的数据库中，检索与用户查询条件匹配的相关记录，然后按一定的排列顺序将结果返回给用户，因此他们是真正的搜索引擎。

从搜索结果来源的角度，全文搜索引擎又可细分为两种，一种是拥有自己的检索程序（Indexer），俗称“蜘蛛”（Spider）程序或“机器人”（Robot）程序，并自建网页数据库，搜索结果直接从自身的数据库中调用，如上面提到的7家引擎；另一种则是租用其他引擎的数据库，并按自定的格式排列搜索结果，如Lycos引擎。

目录索引

目录索引虽然有搜索功能，但在严格意义上算不上是真正的搜索引擎，仅仅是按目录分类的网站链接列表而已。用户完全可以不用进行关键词（Keywords）查询，仅靠分类目录也可找到需要的信息。目录索引中最具代表性的莫过于大名鼎鼎的Yahoo雅虎。其他著名的还有Open Directory Project（DMOZ）、LookSmart、About等。国内的搜狐、新浪、网易搜索也都属于这一类。

元搜索引擎 (META Search Engine)

元搜索引擎在接受用户查询请求时，同时在其他多个引擎上进行搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等（元搜索引擎列表），中文元搜索引擎中具代表性的有搜星搜索引擎。在搜索结果排列方面，有的直接按来源引擎排列搜索结果，如Dogpile，有的则按自定的规则将结果重新排列组合，如Vivisimo。

除上述三大类引擎外，还有以下几种非主流形式：

1、 *** 式搜索引擎：如HotBot在2002年底推出的引擎。该引擎类似META搜索引擎，但区别在于不是同时调用多个引擎进行搜索，而是由用户从提供的4个引擎当中选择，因此叫它“ *** 式”搜索引擎更确切些。

2、门户搜索引擎：如AOL Search、MSN Search等虽然提供搜索服务，但自身即没有分类目录也没有网页数据库，其搜索结果完全来自其他引擎。

3、免费链接列表（Free For All Links，简称FFA）：这类网站一般只简单地滚动排列链接条目，少部分有简单的分类目录，不过规模比起Yahoo等目录索引来要小得多。

google中支持的有:pdf、ps、doc、ppt、xls、rtf

搜索格式为：internet filetype:doc

请采纳。

问题五：人工分类目录型的搜索引擎有那些 搜索引擎主要有目录式搜索引擎、关键词全文搜索引擎和元搜索引擎三类。区别是目录式搜索引擎是基于目录检索，关键词全文搜索引擎是基于关键词搜索，元搜索引擎是搜索引擎的搜索引擎，没有自己的搜索引擎。

问题六：搜索引擎的主要体系包括哪些 搜索引擎（Search Engine）是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、 *** 式搜索引擎、门户搜索引擎与免费链接列表等。

全文索引

搜索引擎分类部分提到过全文搜索引擎从网站提取信息建立网页数据库的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），

蜘蛛搜索引擎

搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。随着搜索引擎索引规则发生很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。

当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法――通常根据网页中关键词的匹配程度、出现的位置、频次、链接质量――计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户。这种引擎的特点是搜全率比较高。

目录索引

目录索引也称为：分类检索，是因特网上最早提供WWW资源查询的服务，主要通过搜集和整理因特网的资源，根据搜索到网页的内容，将其网址分配到相关分类主题目录的不同层次的类目之下，形成像图书馆目录一样的分类树形结构索引。目录索引无需输入任何文字，只要根据网站提供的主题分类目录，层层点击进入，便可查到所需的网络信息资源。

虽然有搜索功能，但严格意义上不能称为真正的搜索引擎，只是按目录分类的网站链接列表而已。用户完全可以按照分类目录找到所需要的信息，不依靠关键词（Keywords）进行查询。

与全文搜索引擎相比，目录索引有许多不同之处。

首先，搜索引擎属于自动网站检索，而目录索引则完全依赖手工操作。用户提交网站后，目录编辑人员会亲自浏览你的网站，然后根据一套自定的评判标准甚至编辑人员的主观印象，决定是否接纳你的网站。其次，搜索引擎收录网站时，只要网站本身没有违反有关的规则，一般都能登录成功；而目录索引对网站的要求则高得多，有时即使登录多次也不一定成功。尤其像Yahoo这样的超级索引，登录更是困难。

此外，在登录搜索引擎时，一般不用考虑网站的分类问题，而登录目录索引时则必须将网站放在一个最合适的目录（Directory）。

最后，搜索引擎中各网站的有关信息都是从用户网页中自动提取的，所以用户的角度看，我们拥有更多的自 *** ；而目录索引则要求必须手工另外填写网站信息，而且还有各种各样的限制。更有甚者，如果工作人员认为你提交网站的目录、网站信息不合适，他可以随时对其进行调整，当然事先是不会和你商量的。

搜索引擎与目录索引有相互融合渗透的趋势。一些纯粹的全文搜索引擎也提供目录搜索，如Google就借用Open Directory目录提供分类查询。而像Yahoo! ；这些老牌目录索引则通过与Google等搜索引擎合作扩大搜索范围（注）。在默认搜索模式下，一些目录类搜索引擎首先返回的是自己目录中匹配的网站，如中国的搜狐、新浪、网易等；而另外一些则默认的是网页搜索，如Yahoo。这种引擎的特点是找的准确率比较高。

元搜索......

问题七：搜索引擎有哪四大类,每一种类型的代表是那些搜索引擎 1.全文索引

全文搜索引擎是名副其实的搜索引擎，国外代表有Google，国内则有著名的百度搜索。它们从互联网提取各个网站的信息(以网页文字为主)，建立起数据库，并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果。

根据搜索结果来源的不同，全文搜索引擎可分为两类，一类拥有自己的检索程序(Indexer)，俗称“蜘蛛”(Spider)程序或“机器人”(Robot)程序，能自建网页数据库，搜索结果直接从自身的数据库中调用，上面提到的Google和百度就属于此类；另一类则是租用其他搜索引擎的数据库，并按自定的格式排列搜索结果，如Lycos搜索引擎。

2.目录索引

目录索引虽然有搜索功能，但严格意义上不能称为真正的搜索引擎，只是按目录分类的网站链接列表而已。用户完全可以按照分类目录找到所需要的信息，不依靠关键词(Keywords)进行查询。目录索引中最具代表性的莫过于大名鼎鼎的Yahoo！、新浪分类目录搜索。

3.元搜索引擎

元搜索引擎(META Search Engine)接受用户查询请求后，同时在多个搜索引擎上搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎。在搜索结果排列方面，有的直接按来源排列搜索结果，如Dogpile；有的则按自定的规则将结果重新排列组合，如Vivisimo。

其他非主流搜索引擎形式

(1) *** 式搜索引擎:该搜索引擎类似元搜索引擎，区别在于它并非同时调用多个搜索引擎进行搜索，而是由用户从提供的若干搜索引擎中选择，如HotBot在2002年底推出的搜索引擎。

(2)门户搜索引擎:AOL Search、MSN Search等虽然提供搜索服务，但自身既没有分类目录也没有网页数据库，其搜索结果完全来自其他搜索引擎。

(3)免费链接列表(Free For All Links，简称FFA):一般只简单地滚动链接条目，少部分有简单的分类目录，不过规模要比Yahoo！等目录索引小很多。

问题八：搜索引擎都有哪几种类型 搜索引擎主要分类，及特点：

一、全文索引

全文搜索引擎是目前广泛应用的主流搜索引擎，国外代表搜索是Google，国内则有最大中文搜索百度。它们从互联网提取各个网站的信息（以网页文字为主），建立起数据库，并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果。

根据搜索结果来源的不同，全文搜索引擎可分为两类，一类拥有自己的检索程序（Indexer），俗称“蜘蛛”（Spider）程序或“机器人”（Robot）程序，能自建网页数据库，搜索结果直接从自身的数据库中调用，上面提到的Google和360搜索就属于此类；另一类则是租用其他搜索引擎的数据库，并按自定的格式排列搜索结果，如Lycos搜索引擎。

二、目录索引

目录索引也称为：分类检索，是因特网上最早提供WWW资源查询的服务，主要通过搜集和整理因特网的资源，根据搜索到网页的内容，将其网址分配到相关分类主题目录的不同层次的类目之下，形成像图书馆目录一样的分类树形结构索引。目录索引无需输入任何文字，只要根据网站提供的主题分类目录，层层点击进入，便可查到所需的网络信息资源。

三、元搜索引擎

元搜索引擎（META Search Engine）接受用户查询请求后，同时在多个搜索引擎上搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎。在搜索结果排列方面，有的直接按来源排列搜索结果，如Dogpile；有的则按自定的规则将结果重新排列组合，如Vivisimo。

四、垂直搜索引擎

垂直搜索引擎为2006年后逐步兴起的一类搜索引擎。不同于通用的网页搜索引擎，垂直搜索专注于特定的搜索领域和搜索需求（例如：机票搜索、旅游搜索、生活搜索、小说搜索、视频搜索等等），在其特定的搜索领域有更好的用户体验。相比通用搜索动辄数千台检索服务器，垂直搜索需要的硬件成本低、用户需求特定、查询的方式多样。

五、 *** 式搜索引擎

*** 式搜索引擎：该搜索引擎类似元搜索引擎，区别在于它并非同时调用多个搜索引擎进行搜索，而是由用户从提供的若干搜索引擎中选择，如HotBot在2002年底推出的搜索引擎。

六、门户搜索引擎

门户搜索引擎：AOLSearch、MSNSearch等虽然提供搜索服务，但自身既没有分类目录也没有网页数据库，其搜索结果完全来自其他搜索引擎。

七、免费链接列表

免费链接列表（Free For All Links简称FFA）：一般只简单地滚动链接条目，少部分有简单的分类目录，不过规模要比Yahoo！等目录索引小很多。

希望可以帮助到你~望采纳哦～谢谢～ 看评论

问题九：什么是目录搜索 国内一般把搜索引擎分为分类搜索引擎和关键词搜索引擎，国外则分别称其为Directory和Search engine。 Directory是指一种主题分类目录，由人工对网站进行标引和组织（hand-picked web sites organized into categories），提供分类检索；Search engine是基于蜘蛛程序的搜索引擎（Spider-Based Search Engine），由程序自动索引网页建立数据库，提供关键词搜索。搜索引擎是工具性实体，分类搜索和关键词搜索是搜索引擎的功能特征和网络信息的检索方法。 分类搜索是最早出现的一种网络信息检索方法，主题分类目录的创制已有相当成熟的理论、技术和丰富的成功经验。Yahoo!被认为是分类搜索的鼻祖，Directory的代表，引领着分类搜索的潮流。搜狐（搜狗）开中文分类搜索先河，其50,000主题分类，500,000优选网站无愧中文主题分类目录的典范，堪称中文分类搜索的旗舰。 1、何谓分类搜索 分类搜索是基于人工标引的检索方法。它以科学、实用的分类目录为工具，以规范化的自然语言为类名，在对网络信息归纳、概括的基础上，以网站为单元，提供经过专家评价和人工整序的网络信息。 分类搜索是突出族性特征的检索方法。由于分类目录已按照学科或主题对网络信息进行了标引，所有网站在分类体系中同聚异分，各有所属，纵向成枝，横向成网，只需按图索骥，同一类属或相关主题的信息即可循类以求，适用于查询具有同一特征的多个目标和主题范围广、概念宽泛的问题。 分类搜索是关键词搜索不可替代的检索方法。关键词搜索以简单、快捷著称，但庞大的结果列表、大量重复和无用的信息是其永远的伤痛。而分类搜索恰恰独具优势，经过人工编辑的检索结果既以精当、准确著称，又以系统、有效见长。 分类搜索是循序渐进的检索方法。与关键词搜索即刻按照相关性递减顺序返回大量结果不同，分类搜索要首先确定所需信息在目录中的类系归属和相关路径，从大类入手，逐级浏览，渐进查询，在相应类目下按字顺展开网站列表，然后再根据网站名称和简介，对结果列表进行选择。 分类搜索是门户网站不可缺少的检索方法。互联网上搜索的概念最早来自于门户网站，资深网民对互联网的认识最初几乎全部来自于当年yahoo！提供的分类搜索服务。有关数据显示，我国将近70%以上网民是通过门户网站认识和开始使用搜索引擎的。门户网站是使用搜索引擎的主要平台，搜索引擎也为门户网站带来了巨大的经济利益和访问流量。 2、分类搜索的原理 分类搜索的基础和前提是构建一个反映网站相关信息及其URL链接的目录指南（Directory），在这个目录中，经过审核与标引的网站按学科或主题分门别类、有序排列。分类搜索就是在分类目录中，根据所需信息的学科属性或主题内容，逐级检索，循类以求。由于分类目录是以数据库形式存在的，也可以说，分类搜索就是对分类数据库的检索。 分类搜索建立在网络分类的基础上，了解分类搜索的原理，不能不首先了解网络分类体系。分类标准、类目划分、类目设置、类目序列等，对分类体系的构建至关重要，决定着分类目录的性质和功能，影响着分类搜索的效率和效果。系统性和实用性是对网络信息分类的基本要求，以学科性质为标准可以保证分类的系统性，以事物主题为......

问题十：中国主要的搜索引擎有哪几个？ 百度(baidu)中文搜索引擎

全球最大中文搜索引擎。提供网页快照、网页预览/预览全部网页、相关搜索词、错别字纠正提示、新闻搜索、Flash搜索、信息快递搜索、百度搜霸、搜索援助中心。

北大天网中英文搜索引擎

由北京大学开发，简体中文、繁体中文和英文三个版本。提供全文检索、新闻组检索、FTP检索（北京大学、中科院等FTP站点）。目前大约收集了100万个WWW页面（国内）和14万篇Newsgroup（新闻组）文章。支持简体中文、繁体中文、英文关键词搜索，不支持数字关键词和URL名检索。

新浪搜索引擎

互联网上规模 最大的中文搜索引擎之一。设大类目录18个，子目1万多个，收录网站20余万。提供网站、中文网页、英文网页、新闻、汉英辞典、软件、沪深行情、游戏等多种资源的查询。

雅虎中国搜索引擎

Yahoo!是世界上最著名的目录搜索引擎。雅虎中国于1999年9月正式开通，是雅虎在全球的第20个网站。Yahoo！目录是一个Web资源的导航指南，包括14个主题大类的内容。

搜狐搜索引擎

搜狐于1998年推出中国首家大型分类查询搜索引擎，到现在已经发展成为中国影响力最大的分类搜索引擎。每日页面浏览量超过800万，可以查找网站、网页、新闻、网址、软件、黄页等信息。

网易搜索引擎

网易新一代开放式目录管理系统（ODP）。拥有近万名义务目录管理员。为广大网民创建了一个拥有超过一万个类目，超过25万条活跃站点信息，日增加新站点信息500~1000条，日访问量超过500万次的专业权威的目录查询体系。

3721网络实名/智能搜索

3721公司提供的中文上网服务DD3721网络实名，使用户无须记忆复杂的网址，直接输入中文名称，即可直达网站。3721智能搜索系统不仅含有精确的网络实名搜索结果，同时集成多家搜索引擎。

360综合搜索引擎