如何做搜索引擎蜘蛛日志分析
搜索引擎蜘蛛日志文件是一种非常强大但未被站长充分利用的文件，分析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点，及查看搜索引擎蜘蛛在一段时间内的行为。
| IP地址(20) | 服务器名称 | 所属国家 |
|---|---|---|
| 23.239.5.82 | li699-82.members.linode.com | US |
| 107.191.48.232 | 107.191.48.232.vultr.com | US |
| 108.61.193.94 | 108.61.193.94.vultr.com | US |
| 162.243.165.196 | usny.montools.com | US |
| 108.61.194.235 | 108.61.194.235.vultr.com | US |
| 45.33.6.48 | li960-48.members.linode.com | US |
| 74.208.57.145 | infong647.perfora.net | US |
| 192.210.232.164 | 192-210-232-164-host.colocrossing.com | US |
| 192.3.229.4 | 192-3-229-4-host.colocrossing.com | US |
| 107.174.218.74 | 107-174-218-74-host.colocrossing.com | US |
通常不需要，如果您不需要此类监控服务，在服务提供网站移除您的网站即可。
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 MonTools.Com 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: MonTools.Com Disallow: /
您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
MonTools是一个强大但易于使用的免费网站监控服务。它在你指定的时间间隔内检查你的网站或服务器，一旦发现你的网站出现故障，就会向你发送电子邮件、短信、微博提醒或语音电话。我们的大部分服务都是免费的。
网站监测对于确保你的网站对用户可用并将停机时间降到最低是极其重要的。如果你的网站不可靠，依赖你的网站的访问者会感到沮丧，最终停止使用你的网站。如果你的网站经常停机或停机时间较长，甚至你的搜索引擎排名也可能消失。
| Feature | 免费 | 付费 | 描述 |
|---|---|---|---|
| 监控类型 | |||
| 网站监控 |  |
|
任何网站、网页或URL，也称为HTTP监控器 |
| HTTPS监控 | |
|
安全网站监控器或SSL监控器 |
| FTP监控 | |
|
FTP服务器监控器 |
| Apache监控 | |
|
监控失败、过载或其他Apache参数 |
| MySQL监控 | |
|
监控失败、过载或其他MySQL参数 |
| IMAP监控 | |
|
监控IMAP电子邮件服务器 |
| POP3监控 | |
|
监控POP3电子邮件服务器 |
| SMTP监控 | |
|
监控SMTP电子邮件服务器 |
| API监控 | |
|
从文本或xml URL中提取并监控参数 |
| Ping监控 | |
|
监控使用ICMP（真正的ping）或TCP（自定义ping） |
| DNS监控 | |
|
DNS服务器或条目 |
| SNMP监控 | |
|
监控服务器负载、内存、磁盘使用开放源sw |
| 监控选项 | |||
| 监控时间间隔 | 30 min. 至 1 天 | 1 sec. to 1 天 | 检查间隔时间 |
| 监控节点 | 6 | 6 | 多个监控地点以保证可靠性 |
| 维护窗口 | 1 | |
维护活动期间暂停监控 |
| 检查SSL证书 | |
|
如果SSL证书无效或过期，发送警报 |
| 自定义超时 | – | |
设定监控器等待响应的时间 |
| 受密码保护的页面 | – | |
监控受密码保护的网站或网页 |
| HTTP POST变量 | – | |
监控网页上的表格 |
| 关键词搜索 | – | |
如果找到或未找到关键词，发送警报 |
| 自定义端口 | – | |
监测任何监测器类型的自定义端口 |
| 从属监测器 | |
|
在不加载网站的情况下添加多个监视器 |
| 警报 | |||
| 电子邮件警报 | |
|
通过电子邮件发送故障警报 |
| 短信警报 | |
|
对100多个运营商免费 |
| 推特警报 | |
|
使用Twitter私人信息的免费短信警报 |
| 语音提示 | – | |
自动向你的手机发出语音警报 |
| URL回调 | |
|
向一个URL报告故障，例如，用于进一步自动化 |
| 警报跳过 | |
|
允许延迟或立即发送警报 |
| 警报限制 | |
|
在连续发生故障的情况下，允许对警报进行限制 |
| 警报联系人 | 3 | |
允许向多人发送警报 |
| 警报政策 | 1 | |
允许对具有类似警报的监控器采用共同的警报策略 |
| 升级政策 | 1 | |
允许多个警报级别 |
| 工作轮班 | 1 | |
根据员工的工作时间来限制警报 |
| 自定义警报标准 | – | |
例如，服务器负载>0.9，可用内存<10%。 |
| 报告 | |||
| 状态页 | |
|
无需登录的监控状态(可隐藏) |
| 正常运行时间统计 | |
|
正常运行时间/停机时间统计 |
| 正常运行时间日志 | |
|
详细的正常运行时间/停机时间日志 |
| 正常运行时间图表 | |
|
正常运行时间/停机时间图 |
| 响应时间统计 | |
|
响应时间统计 |
| 响应时间日志 | |
|
详细的响应时间日志 |
| 响应时间图表 | |
|
响应时间图 |
| 故障原因 | |
|
警报和日志中的显示器故障原因 |
| 正常运行时间按钮 | |
|
在你的网站上展示你的正常运行时间 |
| 自定义摘要页 | 1 | |
无需登录的多个监视器状态（可隐藏） |
| 自定义统计 | – | |
自定义参数的统计，如服务器负载 |
| 自定义日志 | – | |
自定义参数的日志值 |
| 自定义图表 | – | |
绘制自定义参数的图表 |
| 生产力 | |||
| 自定义时区 | |
|
将网站时间调整为您的当地时间 |
| 手动监控测试 | |
|
手动检查你的网站或服务器是否在工作 |
| 手动警报测试 | |
|
核实警报是否正确发送 |
| 性价比高 | |||
| 资金有效期 | – | 1 Year | 资金只用于所使用的付费服务。剩余的资金结转到下个月。 |
