在过去五年中,Google一直在努力推行在线营销工作的新方法。将网站管理员工具更改为Google控制台后,它已成为每个网站所有者,品牌经理和营销人员必须知道的帮助修复网站问题的最重要的组件之一。这些可以妥协和削弱营销工作的一些问题完全是网站爬网错误。它们使Google漫游器难以抓取您的网页,因此人们无法找到您的网页,因此页面无法排名。
请注意,Google控制台将抓取错误分类为网址错误和网站错误。网站错误可能非常破坏,因为它们有可能危及整个网站的可用性。但是,URL级别错误是页面特定的,这意味着如果它们影响一个页面,其他页面仍然可以有效地运行。
这篇文章将概述如何修复3个主要网站爬网错误:
DNS错误
这些是域系统错误,是大多数网站最常见的。错误意味着您的网站不连接,并始终给出DNS超时问题。如果Google控制台显示Google漫游器仍然可以连接,则无需担心。但是,如果DNS错误严重,则立即采取行动很重要。
为了解决这个问题,请确保使用Fetch和Render,因为Google保留在Search Console中。这显示了Google如何看到您的网站与用户相比。您还可以使用ISUP.me或Web-Sniffer.net等工具,显示所有当前的HTTP(s)响应和标题。如果问题更复杂,无法在此级别修复,请务必与DNS提供商联系。
服务器错误
最常见的服务器错误是服务器在响应之前花费大量时间并且请求超时。Google Bots只能等待很短的时间,然后放弃。如果问题分别发生,机器人甚至会停止尝试。虽然DNS错误意味着机器人无法找到您的站点,但服务器错误意味着尽管可以找到页面,但是机器人发现它很难抓取它们。这个问题经常发生,因为页面有很多信息要处理。
为了解决这个问题,重要的是获得可以容纳突然增加流量的托管提供商。例如,您的托管服务提供商可以在病毒感染时处理网站吗?此外,您应该使用Google抓取方式来确定机器人是否可以找到该页面。
机器人故障
此错误表示Google Bots无法获取您的网站robots.txt文件。请记住,当您有一些文件不想被抓取和编入索引时,会使用此文件。如果文件不可用,则服务器将给出错误404,然后继续抓取其他部分。如果你的页面很小,定期进行最小的更改,这个错误不应该让你担心。但是,每天更改内容的网站(如博客)需要立即修复。
要解决此问题,请返回到Robots.txt文件并进行适当配置。你应该特别重复一次或三次检查您指定的页面不要爬行的页面。确保也三重检查’ disallow:/’,以确保它不会在任何地方,因为它将使您的整个网站不可用在Google搜索。