网络爬虫问世到现在已经十年了，近年来，这些网络爬虫的潜力备受关注。现在，大多数内容和与内容相关的信息都是派生的，因此电视和广播中有大量可用的内容。在文中，您可以全面了解Web爬虫即将面临的挑战。大多数人将网络爬虫识别为Google用来索引网络上所有页面以返回相关结果的工具。但是，可以在不同行业中使用网络爬虫和数据提取技术来收集有意义的见解。

    什么是网络爬虫机器人？  

网络爬虫，蜘蛛或搜索引擎机器人会从Internet上下载内容并编制索引。这样的机器人的目标是（几乎）了解网络上每个网页的内容，以便可以在需要时检索信息。之所以称为“网络爬虫”，是因为爬取是用于自动访问网站并通过软件程序获取数据的技术术语。

这些漫游器几乎总是由搜索引擎操作。通过对网络爬虫收集的数据应用搜索算法，搜索引擎可以响应用户搜索查询提供相关链接，生成在用户将搜索输入Google或Bing（或其他搜索引擎）后显示的网页列表。

网络爬虫机器人就像一个人，他会浏览杂乱无章的图书馆中的所有书籍，并整理卡片目录，以便访问图书馆的任何人都可以快速，轻松地找到他们所需的信息。为了帮助按主题对图书馆的书籍进行分类和组织，组织者将阅读书名，摘要和每本书籍的一些内部文本，以了解其含义。

但是，与图书馆不同，互联网不是由大量的书籍组成的，这使得很难判断所有必要的信息是否已正确索引，或者是否忽略了大量信息。为了尝试查找Internet必须提供的所有相关信息，网络爬虫程序机器人将从一组已知的网页开始，然后将这些页面的超链接跟随到其他页面，将这些页面的超链接跟随到其他页面，等等。上。

未知的是搜索引擎机器人实际上爬行了多少公共可用的Internet。一些消息来源估计，只有40-70％的Internet被索引用于搜索-这就是数十亿个网页。

    什么是搜索索引？  

搜索索引就像为Internet创建图书馆卡目录，以便搜索引擎在人们搜索信息时知道Internet上的何处可以检索信息。也可以将其与书后的索引进行比较，该索引列出了书中提到某个主题或短语的所有位置。

索引主要关注页面上显示的文本以及用户看不到的有关页面的元数据*。当大多数搜索引擎将页面编入索引时，它们会将页面上的所有单词都添加到索引中-在Google的情况下，诸如“ a”，“ an”和“ the”之类的单词除外。当用户搜索这些单词时，搜索引擎将遍历其出现的所有页面的索引，并选择最相关的页面。

*在搜索索引中，元数据是告诉搜索引擎网页内容的数据。通常，元标题和元描述将出现在搜索引擎结果页面上，而不是用户可见的网页内容。

    网络搜寻器如何工作？  

互联网在不断变化和扩展。由于无法知道Internet上总共有多少个网页，因此Web爬虫程序漫游器从种子或已知URL列表开始。他们首先在那些URL上爬行网页。当他们爬网这些网页时，他们会找到到其他URL的超链接，并将它们添加到下一个要爬网的页面列表中。

鉴于Internet上的大量网页都可以索引以进行搜索，因此此过程几乎可以无限期地进行。但是，Web爬网程序将遵循某些策略，从而使其对要爬网的页面，以什么顺序进行爬网以及它们应多久再次爬网一次以检查内容更新的选择更具选择性。

每个网页的相对重要性：大多数网络抓取工具不会抓取整个公开可用的Internet，也并非旨在抓取；取而代之的是，他们基于链接到该页面的其他页面的数量，该页面吸引的访问者数量以及其他表示该页面包含重要信息的可能性的因素，来决定要首先爬网的页面。

这个想法是，被许多其他网页引用并吸引大量访问者的网页可能包含高质量的权威信息，因此，搜索引擎对其进行索引尤为重要-就像图书馆可以确保保留大量被很多人签出的书的副本。

重新访问网页： Web上的内容不断更新，删除或移动到新位置。Web爬网程序将定期需要重新访问页面，以确保内容的最新版本被编入索引。

Robots.txt要求： Web爬网程序还会根据robots.txt协议（也称为漫游器排除协议）来决定要爬网的页面。在抓取网页之前，他们将检查该网页的网络服务器托管的robots.txt文件。robots.txt文件是一个文本文件，用于指定所有漫游器访问托管网站或应用程序的规则。这些规则定义了漫游器可以爬网的页面以及它们可以遵循的链接。例如，签出Cloudflare.com robots.txt文件。

所有这些因素在每个搜索引擎内置于其蜘蛛机器人的专有算法中的权重均不同。尽管最终目标是相同的，但来自不同搜索引擎的网络爬虫的行为会略有不同：从网页下载内容并为其编制索引。

    为什么将网络爬虫称为“蜘蛛”？  

互联网，或者至少是大多数用户访问的部分，也被称为万维网-实际上，这就是大多数网站URL的“ www”部分的来源。称搜索引擎机器人为“蜘蛛”是很自然的，因为它们在整个Web上爬行，就像真正的蜘蛛在蜘蛛网上爬行一样。

    是否应始终允许网络爬虫程序机器人访问网络媒体资源？  

这取决于网络媒体资源，它取决于许多因素。Web爬网程序需要服务器资源才能为内容建立索引–它们发出服务器需要响应的请求，就像访问网站的用户或其他访问网站的漫游器一样。根据每个页面上的内容量或网站上的页面数，不宜过于频繁地进行搜索索引是网站运营商的最大利益，因为过多的索引可能会使服务器负担过多，增加带宽成本，或者都。

同样，除非用户已经获得了指向该页面的链接（而无需将该页面置于付费专区或登录之后），否则开发人员或公司可能不希望发现某些网页。对于企业来说，这种情况的一个例子是，他们为营销活动创建专用的登录页面，但是他们不希望没有受到活动影响的任何人访问该页面。这样，他们可以定制消息传递或精确衡量页面的性能。在这种情况下，企业可以在目标网页上添加“无索引”标签，并且该标签不会显示在搜索引擎结果中。他们还可以在页面或robots.txt文件中添加“禁止”标签，而搜索引擎蜘蛛程序将根本不会抓取该标签。

网站所有者也可能出于各种其他原因，不希望网络爬虫程序机器人爬网其部分或全部站点。例如，一个为用户提供在网站内搜索功能的网站可能希望屏蔽搜索结果页面，因为这些页面对大多数用户没有用。其他自动生成的仅对一个用户或几个特定用户有用的页面也应被阻止。

    网页采集和网页抓取有什么区别？  

Web抓取，数据抓取或内容抓取是指机器人在未经许可的情况下将其内容下载到网站上的目的，通常是出于恶意目的使用该内容。

Web抓取通常比Web抓取更具针对性。Web爬虫可能只在特定页面或特定网站之后，而Web爬虫将继续跟踪链接并连续爬取页面。

此外，网络抓取漫游器可能会忽略它们对网络服务器造成的压力，而网络爬虫（尤其是来自主要搜索引擎的网络爬虫）将服从robots.txt文件并限制其请求，以免对网络服务器造成负担。

    网络搜寻器如何影响SEO？  

SEO代表搜索引擎优化，它是为搜索索引准备内容的学科，以便网站显示更高的搜索引擎结果。

如果蜘蛛机器人不爬网网站，则无法将其编入索引，并且不会显示在搜索结果中。因此，如果网站所有者希望从搜索结果中获得自然流量，那么请勿阻止网络抓取漫游器非常重要。

    互联网上有哪些活跃的网络爬虫程序？  

来自主要搜索引擎的机器人被称为：

Google：Googlebot（实际上是两个抓取工具，Googlebot Desktop和Googlebot Mobile，用于桌面和移动搜索）

必应：Bingbot

Yandex（俄语搜索引擎）：Yandex Bot

百度（中文搜索引擎）：百度蜘蛛

还有许多不常见的网络爬虫程序机器人，其中一些与任何搜索引擎都没有关联。

    僵尸程序管理为什么要考虑网络爬网为什么很重要？  

不良的漫游器可能会造成很大的破坏，从糟糕的用户体验到服务器崩溃再到数据盗窃。但是，在阻止不良的bot时，重要的是仍要允许优质的bot（例如Web爬网程序）访问Web属性。Cloudflare Bot Management使优秀的bot能够继续访问网站，同时仍能减少恶意bot流量。该产品会维护一个自动更新的好机器人白名单，例如网络爬虫，以确保它们不会被阻止。

据Quantzig的网络分析专家说： “通过Google而不是Google，在网站上运行网络搜寻器可以帮助识别网站上的所有障碍和导航错误。对于某些依靠流畅运行网站来赚钱的企业来说，这是至关重要的。”

    网络爬虫的4个关键挑战  

    1.非均匀结构  

互联网一直是一个非常动态的空间，没有针对数据格式的既定标准或结构。由于缺乏统一性，以机器可以理解的格式收集数据可能是一个挑战。但是，当Web爬网程序必须从数千个与特定架构有关的Web来源中提取数据时，此问题可能会加剧。

    2.保持数据库新鲜度  

大多数网络发布者每天都会更新其内容。网络搜寻器需要下载所有此类页面以向用户提供更新的信息。当Web搜寻器开始下载所有这些页面时，就会出现问题，因为它应该给Internet流量带来不必要的压力。人们需要制定一种策略，其中仅对经常更新其内容的页面进行网络爬网。

    3.缺少上下文  

Web搜寻器使用各种策略来下载与用户查询相关的内容。搜寻器专注于特定主题；但在某些情况下，网络搜寻器可能无法找到相关内容。在这种情况下，搜寻器开始下载大量不相关的页面。结果，程序员需要专注于发现爬网技术，这些爬网技术专注于与搜索查询非常相似的内容。

    4.Web服务器的带宽和影响  

Web爬网程序面临的最大限制之一是网络带宽的高消耗率。当Web爬网程序下载几个不相关的网页时，就会发生这种情况。为了保持数据库的新鲜度，Web搜寻器采用轮询方法或使用多个搜寻器。

Web爬网程序的行为是以下策略组合的结果：

一选择策略，其中列明了网页下载，

一重访政策其中规定，当检查更改页面，

一种礼貌的政策，规定了如何避免网站过载。

指出如何协调分布式Web搜寻器的并行化策略。

    例子  

以下是已发布的通用爬网程序（不包括集中式Web爬网程序）的爬网程序体系结构列表，并进行了简要说明，其中包括为不同组件和出色功能提供的名称：

Bingbot是Microsoft的Bing网络爬虫的名称。它取代了Msnbot。

Baiduspider是百度的网络爬虫。

详细描述了Googlebot，但参考文献仅涉及其体系结构的早期版本，该版本是用C ++和Python编写的。搜寻器与索引过程集成在一起，因为对全文索引和URL提取都进行了文本解析。有一个URL服务器发送一些爬网过程要获取的URL列表。在解析期间，找到的URL被传递到URL服务器，该服务器检查该URL是否以前已被查看过。如果不是，则将该URL添加到URL服务器的队列中。

    排序网站  

Swiftbot是Swiftype的网络搜寻器。

WebCrawler用于构建Web子集的第一个公开可用的全文索引。它基于lib-WWW来下载页面，并且基于另一个程序来解析和排序URL，以进行广度优先的Web图形浏览。它还包括一个实时爬网程序，该爬网程序根据锚文本与提供的查询的相似性跟踪链接。

WebFountain是类似于Mercator的分布式模块化搜寻器，但使用C ++编写。

万维网蠕虫是一种爬网程序，用于建立文档标题和URL的简单索引。可以使用grep Unix命令搜索索引。

Xenon是由政府税务机关用来检测欺诈的网络爬虫。

雅虎！Slurp是Yahoo!的名字。搜索搜寻器，直到Yahoo! 与Microsoft签订合同，改为使用Bingbot。

    开源爬虫  

Frontera是Web爬网框架，它实现爬网前沿组件并为Web爬网程序提供可伸缩性原语。

GNU Wget是用C编写的命令行操作的搜寻器，并在GPL下发布。它通常用于镜像Web和FTP站点。

GRUB是Wikia Search用来爬网的开源分布式搜索爬虫。

Heritrix是Internet Archive的档案质量搜寻器，设计用于存档Web很大一部分的定期快照。它是用Java编写的。

ht：// Dig在其索引引擎中包含一个Web搜寻器。

HTTrack使用Web 搜寻器创建网站的镜像以供离线查看。它是用C编写的，并根据GPL发布。

mnoGoSearch是使用C编写并在GPL下获得许可的爬虫，索引器和搜索引擎（仅* NIX计算机）

Norconex HTTP Collector是用Java编写的网络蜘蛛或搜寻器，旨在使Enterprise Search集成商和开发人员的生活更轻松（根据Apache许可获得许可）。

Apache Nutch是使用Java编写并根据Apache许可发行的高度可扩展和可扩展的Web爬网程序。它基于Apache Hadoop，可与Apache Solr或Elasticsearch一起使用。

Open Search Server是GPL下的搜索引擎和Web搜寻器软件版本。

PHP-Crawler是在BSD许可下发布的基于PHP和MySQL的简单爬虫。

Scrapy，一个开源的webcrawler框架，用python编写（在BSD下获得许可）。

Seeks是一个免费的分布式搜索引擎（根据AGPL许可）。

StormCrawler，用于在Apache Storm上构建低延迟，可伸缩的Web爬网程序的资源集合（Apache许可）。

tkWWW机器人，基于tkWWW Web浏览器（在GPL下许可）的爬虫。

Xapian，一个搜索爬虫引擎，用c ++编写。

YaCy是一个免费的分布式搜索引擎，基于对等网络（根据GPL许可）的原理构建。

Trandoshan，一个为深层网络设计的免费，开源的分布式网络爬虫。