adstxt.com crawler

基本資訊

adstxt.com crawler的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。

使用者代理

關於adstxt.com crawler蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：

來源

IP地址(131)	伺服器名稱	所屬國家
44.227.242.120	ec2-44-227-242-120.us-west-2.compute.amazonaws.com	US
54.202.225.150	ec2-54-202-225-150.us-west-2.compute.amazonaws.com	US
54.201.250.195	ec2-54-201-250-195.us-west-2.compute.amazonaws.com	US
34.214.107.139	ec2-34-214-107-139.us-west-2.compute.amazonaws.com	US
35.166.42.202	ec2-35-166-42-202.us-west-2.compute.amazonaws.com	US
44.234.32.205	ec2-44-234-32-205.us-west-2.compute.amazonaws.com	US
54.245.60.254	ec2-54-245-60-254.us-west-2.compute.amazonaws.com	US
44.234.43.64	ec2-44-234-43-64.us-west-2.compute.amazonaws.com	US
34.221.210.5	ec2-34-221-210-5.us-west-2.compute.amazonaws.com	US
34.212.174.122	ec2-34-212-174-122.us-west-2.compute.amazonaws.com	US

訪問控制

瞭解如何控制adstxt.com crawler訪問許可權，避免adstxt.com crawler抓取行為不當。

一般不需要攔截，尤其是如果你自己也受益於搜尋引擎優化服務。不過，如果你擔心伺服器資源佔用等問題，且您都不使用這些工具，當然也可以選擇攔截它們。

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 adstxt.com crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt

# 下列程式碼一般情況可以攔截該代理

User-agent: adstxt.com crawler

Disallow: /

# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: adstxt.com crawler Disallow: /

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: adstxt.com crawler
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

基本資訊