Tomba Crawler Tomba Crawler

蜘蛛/爬虫名称
Tomba Crawler
开发商
Tomba technology web service LLC
官网
tomba.io
当前状态
活动
  • TombaPublicWebCrawler/3.5
  • TombaPublicWebCrawler/1.0
用户代理字符串
Mozilla/5.0 (compatible; TombaPublicWebCrawler/3.5; +https://tombascraper.com)
类型
首次出现
2022-05-01 21:47:53
最后出现
2022-05-01 21:47:53
遵循robots.txt
IP地址
1
来源
IP地址 服务器名称 所属国家
161.97.144.155 vmi487123.contaboserver.net DE
用户代理字符串
Mozilla/5.0 (compatible; TombaPublicWebCrawler/1.0; +https://tombascraper.com)
类型
首次出现
2021-01-11 07:32:40
最后出现
2021-04-05 00:22:04
遵循robots.txt
IP地址
2
来源
IP地址 服务器名称 所属国家
161.97.144.155 vmi487123.contaboserver.net US
104.238.159.242 ? DE

Tomba成立于2021年,其使命是为专业人士提供与重要人物建立新联系的力量。

什么是Tomba robot?

TombaPublicWebCrawler是一个网络搜索引擎的索引机器人,类似于谷歌。由Tomba技术网络服务有限公司(Tomba.io)创建,TombaPublicWebCrawler的专利技术不断扫描数百万个公司网站、新闻稿、电子新闻服务、SEC文件和其他在线来源。利用先进的自然语言处理算法,Tomba创建了一个下一代搜索引擎,专注于寻找有企业和商业专业人士信息的网页。

Version: 3.0 Obeys 
Robots.txt: Yes 
User-Agent String: Mozilla/5.0 (compatible; TombaPublicWebCrawler/3.0; +https://tombascraper.com)

Tomba Crawler在你的网站上做什么?

该机器人只分析公共网页。

它是否遵循robots.txt文件?

是的。绝对的。我们严格遵循robots.txt,包括禁止和允许规则。

如何在您的网站上控制TombaPublicWebCrawler?

如上所述,TombaPublicWebCrawler严格遵守您网站上的robots.txt文件。因此,如果您需要,您可以完全控制您网站上的它。

要改变TombaPublicWebCrawler访问您网站的频率,您可以在Robots.txt文件中指定我们的机器人连续两次请求之间的最小可接受延迟。

User-agent: TombaPublicWebCrawler

Crawl-Delay: [value]

其中Crawl-Delay值是以秒为单位的时间。如果由于某种原因,你想阻止TombaPublicWebCrawler访问你的网站,请在你的服务器上的robots.txt文件中放入以下两行。

User-agent: TombaPublicWebCrawler

Disallow: /

请注意,TombaPublicWebCrawler可能需要一些时间来选择robots.txt文件中的变化。这将在每次预定抓取之前进行。

还请注意,如果您的robots.txt包含错误,TombaPublicWebCrawler将无法识别您的命令,它将继续按照以前的方式抓取您的网站。

阅读更多关于robots.txt的信息:https://support.google.com/webmasters/answer/6062608?hl=en

如果您认为TombaPublicWebCrawler在您的网站上有某种程度的不当行为,或者您对它有任何疑问,请毫不犹豫地联系tomba的支持团队:support@tomba.io。

常见问题

FAQs
查看更多 >