如何做搜索引擎蜘蛛日志分析
htrix
| IP地址 | 服务器名称 | 所属国家 |
|---|---|---|
| 193.170.112.167 | webcrawler17.onb.ac.at | AT |
提供在线媒体的义务意味着，奥地利国家图书馆一方面有权对.at域名（或其他域名，如果网页内容与奥地利有关）下的媒体内容进行一般的自动收集（收获），每年最多四次；另一方面，根据2009年3月1日生效的《媒体法》修正案（《媒体法》第43b条），对个别定期电子媒体（网站、电子期刊、电子书等）进行有针对性的收集。只有在后一种情况下，媒体所有者才有义务根据具体情况进行合作，即在奥地利国家图书馆提出要求时，媒体所有者必须提供数据。
原则上，媒体内容是通过采集的方式收集的，为此不需要媒体所有者的任何步骤。如果采集不可行，可以规定由奥地利国家图书馆在个别情况下进行采集，或者通过媒体所有者和奥地利国家图书馆双方都认为最合适的另一种传输途径进行数据传输。
大部分数据由ÖNB提供收集（例如通过收获，见网络归档），必要时通过交付（=通过标准接口传输数据）。
完全由数字制作的媒体，也就是说，ÖNB不会多次收集相同的内容。如果一种媒介已经以印刷或离线形式交付，则不必再次交付在线版本。
纯网络媒体：电子出版物：电子期刊、电子百科全书、电子图书、电子印刷品、网上日报、网站等。
半出版的文件：如电子学位论文。
未以印刷品发表，但与科学相关并以数字形式引用的材料：例如，科学家或研究项目网站上的研究论文、预印本、报告等。
一般来说，不收集和归档的资源，其内容主要是以下之一：目录（链接列表）、讨论列表、新闻组等，应用程序（软件）、游戏、事件日历和广告。
ÖNB的重点是文字和图像材料，以延续以前的收集任务。因此，ÖNB不会，例如，从音频平台或图像机构收集内容，但如果，例如，一本电子书包含音频文件或图像，该电子书应该被完整地归档。
重点是各自的内容，应用程序本身没有被收集。如果不可能将内容与应用分开，则在此阶段不能收集媒介。
全世界产生的信息中，有越来越大的部分是数字的。记忆机构–即档案馆、图书馆、博物馆和相关机构–其任务是收集、归档和提供我们的文化遗产，同时也面临着为未来保护这些数字知识的挑战。奥地利国家图书馆通过其网络归档项目，正在追求收集和归档 “奥地利互联网 “的目标。
通过域名采集（顶级域名.at，以及其他与奥地利有关的顶级域名，如com、.net、.org、.info、.cc、.eu等）、选择性采集（经常变化的网页，如媒体、当局、科学等）和事件采集（特殊场合和重大事件的在线内容，如国民议会选举）等策略的结合，目的是为奥地利的网络空间创建最有意义的快照。媒介、当局、科学等）和事件收获（特殊场合和重大事件的在线内容，如国民议会选举）旨在创建尽可能有意义的奥地利网络空间的快照，并将其记录下来供后人参考。
在采集方面，ÖNB使用NetarchiveSuite软件包（http://netarchive.dk/index-en.php），该软件包由丹麦皇家图书馆和国家图书馆开发，是丹麦网络归档项目的一部分。以类似于网络浏览器的方式向主机请求数据。该软件跟踪网页内的链接并收集所有发现的文件。数据库生成的页面可以被收集，但不能收集受密码保护的页面。只使用开放源码软件。通过Wayback Machine访问。
奥地利国家图书馆有法律授权（媒体法）对奥地利的网络空间进行存档，因此有权对带有.at域名的网页以及与奥地利有关的网页进行存档。
媒体所有者不需要为网络归档做任何准备。
域名抓取（整个.at域名以及与奥地利有关的网页）每2年进行一次。对于选择性的和事件性的收割，根据事件、媒介等确定合适的间隔时间。
奥地利国家图书馆的网络档案为科学目的服务，不作商业用途。读者可以在ÖNB的办公场所和授权的图书馆内免费获得该书。
我们认为，不存在混淆的危险。只有在ÖNB的办公场所才可以访问这些网页，而不是通过互联网。归档页将被清楚地标明为归档页。ÖNB的网络档案不被谷歌等搜索引擎收录，所以搜索引擎的用户永远不可能被推荐到网站的档案版本。网络档案的用户将受益于 “实时 “网页上不再有的材料。
受访问保护的区域只有在以下情况下才会被归档，例如，它是一个需要付费的区域（出版产品），但原则上是为公众服务的。例如，内联网或受私人访问保护的数据不会被归档。
.at域名的清单是由奥地利域名注册机构nic.at提供给ÖNB的。具有通用顶级域名的网页是通过手工或特殊程序获得的。
欢迎你把你的网址发给我们。如果它符合我们的收集标准，我们会很高兴地将该页面纳入采编范围。纳入的最终决定权在ÖNB。
不，网站运营商仍然负责自己的网站托管。
奥地利国家图书馆将网络归档作为其法定任务的一部分，必须优先考虑。
ÖNB的网络爬虫是以这样一种方式配置的，即你的服务器负载尽可能地保持低。然而，如果由于网络采集而出现技术问题，请与我们联系（webarchiv@onb.ac.at，见爬虫签名中的信息）。
外部内容不被收集。
与archive.org有什么区别？
互联网档案馆是一个非营利组织，1996年在美国成立，目的是为研究人员提供对历史数字收藏的访问。奥地利国家图书馆网络档案馆根据《奥地利媒体法》，专门收集带有.at域名或奥地利参考的内容。
在奥地利国家图书馆，有专门的终端机可以使用，适应法律要求（例如，不能使用电子邮件等）。由于法律原因，只有在奥地利国家图书馆所在地和经授权的图书馆才可以访问网络档案。
与媒体所有者一起，确定最有利和最有效的数据传输形式。将使用网络采集或通过现有的标准接口（如http、（S）FTP）进行数据传输。如果有必要为数据传输建立一个接口，其费用超过250欧元，媒体所有者必须通知奥地利国家图书馆这一点。如果ÖNB重复提出交付要求，它将承担超过这一数额的费用份额。
也可以在DVD上离线传输数据。对于DVD来说，传统的邮政途径已经被证明是成功的。奥地利国家图书馆的收集工作只能在网上进行。
奥地利国家图书馆将不会接管整个数据库，而只是接管内容。在 “一次 “几TB的情况下，只有连续的在线传输才会出现问题。
一切可以通过带有时间戳的标准化接口自动进行的工作，如收获、下载、FTP。对ÖNB来说，大量数据的自动交付也是至关重要的。
主要是针对印刷媒体。
没有。
没有。
如果不申请就无法阅读记录，就没有义务交付。如果内容在没有应用程序的情况下是可读的，则只收集内容。
如果奥地利国家图书馆可以下载或收获数据，并且该网站有密码保护，则奥地利国家图书馆需要密码以获取数据。当然，奥地利国家图书馆不会将密码传给其他图书馆或用户。
对于个别媒体，受特殊条件限制，最长为一年。然而，这必须有书面的理由。封锁期不应该是规则。
不，存储在档案中的数据不会被删除。如果法院决定撤销数据（类似于印刷部门），奥地利国家图书馆一般会阻止该媒介的任何使用。
这个问题的处理方式与印刷作品的规定类似。原则上，贡献会被归档并供人使用。只有根据法院命令或有充分理由怀疑是刑事犯罪的情况下，才不允许使用收藏品。奥地利国家图书馆没有义务对此进行核实；特别是，它没有义务审查赞成或反对使用某项物品的法律论据的有效性。
注：在奥地利国家图书馆，因涉嫌刑事犯罪而阻止使用的做法被限制性地处理，几乎只适用于修正主义文献。仅仅是作者的 “改变了的信念”（例如，提及明显更好的新版本）并不足以阻止访问（在上述例子中，两个版本都可以使用）。
奥地利国家图书馆只在其所在地和授权的图书馆提供所交付的媒体内容。在某些电子期刊媒体的情况下，使用是在现场单个并发用户的意义上进行的（在同一时间只有一个相关图书馆的用户）。不能以电子方式复制媒体内容；可以进行打印。
通常，《媒体法》规定的义务方是媒体所有者，据此，媒体所有者的注册办事处对交付义务具有决定性意义。服务器实际位于何处并不重要。因此，交付的义务应适用于其注册办事处在奥地利的媒体所有者。
不，履行媒体法规定的提供或交付义务，既不是附属权利，也不是利用，更不是对附属权利的利用。对附属权利的利用是指，例如，将文字稿件设定为广播剧，或将表演设定为戏剧，但在任何情况下都不是媒体所有者履行法律义务。使法律义务的履行取决于个人同意的合同义务也显然是非法的，在任何情况下都是无效的。
一般来说，合同协议不能使法律义务 “无效”。然而，由于强制交付无论如何都不是内容方面的分许可，这样的合同性分许可禁令似乎并不存在问题。
不，奥地利国家图书馆在其法律基础框架内履行其任务；关于其责任，适用一般责任和赔偿规则。
在提供在线产品的法定义务框架内，奥地利国家图书馆必须完成归档和保持可用性的任务。除了对刑事犯罪的紧急怀疑或法院在这方面的命令外，奥地利国家图书馆认为它应优先遵守这一法律义务。
奥地利国家图书馆支持标准格式。如果媒体所有者不可能将数据自动转换为合适的格式，奥地利国家图书馆可以决定是否仍然要收集媒体所有者自己的格式。
奥地利国家图书馆在数据传输以及归档、数据安全和访问等方面完全采用国际通用标准。
奥地利国家图书馆支持用于数据传输的开放标准接口，如。http(s), (s)ftp, oai-pmh.
目前，奥地利国家图书馆完全依赖开放的接口，不打算在这方面引进专有接口。坚持或支持开放接口的做法到目前为止已经证明了自己。开放式接口的实施工作没有专有接口那么复杂；此外，开放式接口还提供了能够将其用于其他应用的优势。
在可以进入档案系统的终端，除了用于观看媒体的各种查看器外，没有向用户提供应用程序。也不可能保存媒体或通过电子邮件发送。只有打印是可能的。
从中期来看，奥地利国家图书馆将收集和存档内容，但不包括应用程序。然而，奥地利国家图书馆参与了长期归档领域的国际研究项目，其中数据库的迁移和仿真是一个主题（如欧盟项目PLANETS）。奥地利国家图书馆（和所有其他记忆机构以及来自商业和工业的合作伙伴）意识到，这种复杂性是最大的挑战之一，不能仅靠一个国家，更不能仅靠一个机构来应对。这一领域的解决方案只有在工业界的参与下才能在国际上合作开发。
没有，除非它们是要交付的内容的一个组成部分。
必须给予奥地利国家图书馆获取内容的可能性，或将内容传送给奥地利国家图书馆。这不可能是编辑系统本身。
搜索引擎蜘蛛对移动设备和桌面设备的处理可以有一些不同之处。以下是一些常见的区别：
尽管搜索引擎蜘蛛对移动设备和桌面设备的处理可能略有不同，但总体目标是提供最佳的用户体验和相关的搜索结果。因此，为了获得良好的搜索可见性，建议采取以下措施：采用响应式网站设计、优化移动页面和内容、确保快速加载速度，并提供高质量和有价值的用户体验。
可以通过以下几种方式来识别和避免被搜索引擎蜘蛛认为是“过度优化”：
搜索引擎蜘蛛在处理重复内容时，会采用一些策略来判断哪些内容是重要的，哪些是不重要的。例如，如果两个网页的内容完全相同，那么搜索引擎可能会选择只保留其中一个网页的版本，或者根据链接的质量来确定哪个版本更重要。此外，有些搜索引擎还会使用相似性算法来检测内容之间的相似性，并将相似的内容进行分组，以便用户在搜索时能够更快速地找到所需的信息。
搜索引擎蜘蛛在处理重复内容时会采取一些处理策略，以确保搜索结果的质量和多样性。以下是搜索引擎蜘蛛处理重复内容的常见方法：
需要注意的是，尽管搜索引擎蜘蛛会处理重复内容，但重复内容本身可能对搜索引擎优化（SEO）产生负面影响。重复内容可能导致搜索引擎索引中的页面混淆和竞争，从而降低特定页面的排名和可见性。因此，在设计和维护网站时，应避免出现重复内容，保持页面的独特性和价值。
sitemap（网站地图）是一种XML文件，它包含了网站中所有网页的URL地址和这些页面的更新频率、更改频率等元数据。网站地图可以帮助搜索引擎蜘蛛更好地了解网站的架构和内容，从而更好地爬取网站中的网页。
搜索引擎蜘蛛是搜索引擎的自动程序，负责浏览互联网并收集网页内容，用于搜索引擎的索引和排名。当搜索引擎蜘蛛访问一个网站时，它通常会首先查找网站的sitemap。通过查看sitemap，蜘蛛可以了解网站的整体结构和可抓取的页面。这样，搜索引擎蜘蛛可以更加全面地抓取网站的内容，并将其添加到搜索引擎的索引中。
通过提供一个完整且准确的sitemap，网站所有可访问的页面都可以被搜索引擎蜘蛛发现和索引。这有助于确保网站的所有重要页面都被搜索引擎收录，从而提高页面在搜索引擎结果中的可见性和排名机会。
总结而言，sitemap是一个包含网站页面信息的XML文件，它将网站结构呈现给搜索引擎蜘蛛，以帮助其更好地抓取和索引网站内容。
可以通过以下几种方式来优化网站的加载速度以改善搜索引擎排名：
总的来说，加载速度是影响搜索引擎排名的重要因素之一。通过以上方法优化网站的加载速度可以提高搜索引擎排名，从而获得更好的流量和转化率。
可以通过以下几种方式来提高网站被搜索引擎蜘蛛抓取的频率：
