SMTBot

SMTBot蜘蛛/爬虫属于营销类型,由SimilarTech Ltd.开发运行。您可以继续阅读下方信息,以深入了解SMTBot基本信息,用户代理和访问控制等。

基本信息

SMTBot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
SMTBot
类型
营销
开发商
SimilarTech Ltd.
当前状态
活动

用户代理

关于SMTBot蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
SMTBot/1.0
用户代理字符串
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 (compatible; SMTBot/1.0; +http://www.similartech.com/smtbot)
首次出现
2020-07-30 17:31:15
最后出现
2021-10-15 01:12:46
遵循robots.txt
未知
来源
IP地址(8) 服务器名称 所属国家
207.90.17.28 ? US
198.52.34.29 ? US
107.173.235.229 107-173-235-229-host.colocrossing.com US
138.99.38.86 ? US
34.234.54.252 ec2-34-234-54-252.compute-1.amazonaws.com US
104.222.36.218 host.sindad.cloud US
23.95.23.114 23-95-23-114-host.colocrossing.com US
用户代理字符串
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; SMTBot/1.0; +http://www.similartech.com/smtbot)
首次出现
2015-11-25 05:22:00
最后出现
2021-10-11 10:49:04
遵循robots.txt
未知
来源
IP地址(6) 服务器名称 所属国家
107.173.235.229 107-173-235-229-host.colocrossing.com US
34.234.54.252 ec2-34-234-54-252.compute-1.amazonaws.com US
93.100.231.204 93.100.231.204.pool.sknt.ru RU
34.192.116.178 ec2-34-192-116-178.compute-1.amazonaws.com US
209.190.113.85 55.71.be.static.xlhost.com US
64.79.85.205 cd.55.4f.static.xlhost.com US
用户代理字符串
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36 (compatible; SMTBot/1.0; +http://www.similartech.com/smtbot)
首次出现
2018-09-14 05:41:24
最后出现
2020-07-19 03:13:57
遵循robots.txt
来源
IP地址(2) 服务器名称 所属国家
34.234.54.252 ec2-34-234-54-252.compute-1.amazonaws.com US
34.192.116.178 ec2-34-192-116-178.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (compatible; SMTBot/1.0; +http://www.similartech.com/smtbot)
首次出现
2014-10-08 08:15:00
最后出现
2018-09-05 03:22:34
遵循robots.txt
来源
IP地址(3) 服务器名称 所属国家
34.192.116.178 ec2-34-192-116-178.compute-1.amazonaws.com US
209.190.113.85 55.71.be.static.xlhost.com US
64.79.85.205 cd.55.4f.static.xlhost.com US
用户代理字符串
Mozilla/5.0 (compatible; SMTBot/1.0; http://www.similartech.com/smtbot)
首次出现
2016-11-12 12:20:10
最后出现
2018-09-04 19:10:25
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
34.192.116.178 ec2-34-192-116-178.compute-1.amazonaws.com US
64.79.76.50 32.4c.4f.static.xlhost.com US
用户代理字符串
Mozilla/5.0 (Windows NT 6.1) (compatible; SMTBot/1.0; +http://www.similartech.com/smtbot)
首次出现
2015-07-21 09:20:00
最后出现
2016-10-19 12:13:31
遵循robots.txt
来源
IP地址(3) 服务器名称 所属国家
64.79.85.205 cd.55.4f.static.xlhost.com US
209.190.113.85 55.71.be.static.xlhost.com US
用户代理字符串
Mozilla/5.0 (Windows NT 6.1)+(compatible; SMTBot/1.0; +http://www.similartech.com/smtbot)
首次出现
2016-09-24 06:23:14
最后出现
2016-10-15 06:59:12
遵循robots.txt
来源
IP地址(1) 服务器名称 所属国家
104.171.150.193 104.171.150.193 US
89.33.117.122 89.33.117.122 PT
172.93.170.137 137-170-93-172.reverse-dns.chicago US
45.148.190.211 45.148.190.211 ES
181.177.122.87 181.177.122.87 US
138.99.38.35 138.99.38.35 US
161.0.2.151 161.0.2.151 US
74.112.157.93 74.112.157.93 ?
161.0.2.121 161.0.2.121 US
104.171.149.148 104.171.149.148 ?
104.171.153.244 104.171.153.244 US
107.173.163.42 107-173-163-42-host.colocrossing.com US
89.33.117.220 89.33.117.220 PT
181.177.123.248 181.177.123.248 US
74.112.157.206 74.112.157.206 US
207.90.17.253 207.90.17.253 US
161.0.2.141 161.0.2.141 US
107.173.200.252 107-173-200-252-host.colocrossing.com US
107.173.224.191 107-173-224-191-host.colocrossing.com US
45.157.184.181 45.157.184.181 ES
207.90.17.28 ? US
198.52.34.29 ? US
107.173.235.229 107-173-235-229-host.colocrossing.com US
138.99.38.86 ? US
34.234.54.252 ec2-34-234-54-252.compute-1.amazonaws.com US
104.222.36.218 host.sindad.cloud US
23.95.23.114 23-95-23-114-host.colocrossing.com US
93.100.231.204 93.100.231.204.pool.sknt.ru RU
34.192.116.178 ec2-34-192-116-178.compute-1.amazonaws.com US
209.190.113.85 55.71.be.static.xlhost.com US
64.79.85.205 cd.55.4f.static.xlhost.com US
64.79.76.50 32.4c.4f.static.xlhost.com US
107.173.163.144 107-173-163-144-host.colocrossing.com US
78.153.140.223 hostglobal.plus GB
用户代理字符串
Mozilla/5.0 (Windows NT 6.1)+(compatible; SMTBot/1.0; +http://www.similartech.com/smtbot)
首次出现
2016-09-24 06:23:14
最后出现
2016-10-15 06:59:12
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
64.79.76.50 32.4c.4f.static.xlhost.com US
用户代理字符串
SMTBot (similartech.com/smtbot)
首次出现
2014-09-17 21:27:06
最后出现
2014-10-02 10:57:02
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
64.79.85.205 cd.55.4f.static.xlhost.com US

访问控制

了解如何控制SMTBot访问权限,避免SMTBot抓取行为不当。

是否拦截SMTBot?

一般不需要拦截,尤其是如果你自己也受益于搜索引擎优化服务。不过,如果你担心服务器资源占用等问题,且您都不使用这些工具,当然也可以选择拦截它们。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 SMTBot 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: SMTBot
	Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

常见蜘蛛/爬虫

Common Spiders
Googlebot
GoogleBot蜘蛛/爬虫属于搜索引擎类型,由Google Inc.开发运行。您可以继续阅读下方信息,以深入了解GoogleBot基本信息,用户代理和访问控制等。
Online Domain Tools
Online Domain Tools蜘蛛/爬虫属于监控类型,由AITIS s.r.o.开发运行。您可以继续阅读下方信息,以深入了解Online Domain Tools基本信息,用户代理和访问控制等。
AhrefsBot
AhrefsBot蜘蛛/爬虫属于营销类型,由Ahrefs Pte Ltd开发运行。您可以继续阅读下方信息,以深入了解AhrefsBot基本信息,用户代理和访问控制等。
SEMrushBot
SEMrushBot蜘蛛/爬虫属于营销类型,由Semrush Inc开发运行。您可以继续阅读下方信息,以深入了解SEMrushBot基本信息,用户代理和访问控制等。
DotBot
DotBot蜘蛛/爬虫属于营销类型,由SEOmoz, Inc.开发运行。您可以继续阅读下方信息,以深入了解DotBot基本信息,用户代理和访问控制等。
SentiBot
SentiBot蜘蛛/爬虫属于营销类型,由SentiOne开发运行。您可以继续阅读下方信息,以深入了解SentiBot基本信息,用户代理和访问控制等。
Awario crawler
Awario crawler蜘蛛/爬虫属于营销类型,由Link-Assistant.Com开发运行。您可以继续阅读下方信息,以深入了解Awario crawler基本信息,用户代理和访问控制等。
ZoomBot
ZoomBot蜘蛛/爬虫属于营销类型,由SEO Cube S.r.l.开发运行。您可以继续阅读下方信息,以深入了解ZoomBot基本信息,用户代理和访问控制等。

相关文章

Related Articles