对于建网站的站长来说，总是希望搜索引擎蜘蛛友好，多抓取本站网页。面对互联网中庞大的信息，搜索引擎蜘蛛抓取页面有自己的一套考核标准，主要是抓取网页覆盖率、抓取网页时效性及抓取网页的重要性。

建网站

       1、抓取网页覆盖率。所有搜索引擎只能索引互联网的一部分网页，这里涉及到暗网，暗网是指目前搜索引擎蜘蛛按照常规方式很难抓取到的互联网页面，蜘蛛通常依赖页面中的链接发现新的页面，从而抓取索引，但是很多页面内容是以数据库方式存储的。这样蜘蛛很难或无法抓取这些信息，导致用户也无法在搜索引擎搜索得到这些信息。抓取网页覆盖率指的是蜘蛛抓取的网页数量占互联网所有网页数量的比例，覆盖率越高，搜索引擎所能索引排名的数量级也就越大，能够参与比较展现的搜索结果也就越多，用户搜索体验也越好。因此为了让用户在搜索时可以得到更精准、更全面的结果，提供抓取网页覆盖率至关重要，而除了抓取方式的提高，对暗网数据的抓取也是各大搜索引擎的重要研究方向。可见，抓取网页覆盖率是考核搜索引擎蜘蛛的一个关键标准，这是一个很大的基数，关乎到后面的索引量、排序量和展现量等，对于用户搜索体验至关重要。
       2、抓取网页时效性。互联网信息比较多，蜘蛛抓取一轮需要较长的时间周期，这个时间内之前建立索引的很多网页可能已经发生变化或者被删除，这就导致搜索结果中有一部分是过期的数据。但是蜘蛛不能在网页变化后第一时间将这些变化反映到网页库中，因此导致一些问题，首先，如果页面只是内容发生变化，搜索引擎不能及时的去重新比较这些变化，给予用户更合理的排名。其次，如果排在搜索结果前面的页面已经被删除了，由于没有及时抓取更新，还排在重要位置，就是对用户一种伤害。最后，很多人会在页面收录后另外加一些不好的信息，这样用之前的排名展现现在的信息，下次蜘蛛更新才会处理。所以对于搜索引擎而言，肯定是希望数据库内网页能及时更新的，网页库过期的数据越少，则网页的时效性越好，这对用户体验的作用不言而喻。
       3、抓取网页的重要性。蜘蛛抓取了很多内容，也及时更新了，但如果抓取的都是一些低质量内容，对用户不好。尽管要多抓勤抓，但是每个网页重要性差异很大，搜索引擎蜘蛛不仅要干得多、干得快、还要干得好。所以必然会优先照顾部分能经常提供高质量内容的网站，特别是定时定量更新的，这样才能最大程度上保证优质内容不被漏掉，如果搜索引擎蜘蛛抓回的网页大都是比较重要的网页，则可说其在抓取网页重要性方面做得很好。
总之，现在搜索引擎蜘蛛由于种种原因限制，只能抓取互联网部分网页的，所以在努力抓取尽可能多页面的同时会尽可能选择比较重要的那部分页面来索引，而对于己经抓取到的网页，也会尽可能快地更新其内容。所以这是各大搜索引擎努力的方向。如果建网站时这相应的3个方面都做得好，搜索引擎用户体验肯定会更好。

文章由上海网站建设公司昭歌信息整理发布https://www.zhaoge.net/，转载请注明出处