FAMMRO Crawler für Betreiber von Websites

Was er liest, woran Sie ihn erkennen und wie Sie ihn sperren

Was er tut

Shops nutzen FAMMRO als Assistenten im Chat ihrer Website

Der Crawler liest dafür Websites, die ein Shop in seiner Konsole einträgt, meist die eigene

Aus den Seiten entsteht das Wissen, mit dem der Assistent Fragen der Kunden beantwortet

Gespeichert werden die Inhalte nur im Wissen dieses einen Shops

Von selbst liest er eine Website höchstens alle 6 Stunden erneut

Er meldet sich in jeder Anfrage mit derselben Kennung

User-Agent: Mozilla/5.0 (compatible; FAMMRO-Crawler/1.0; +https://fammro.com/crawler)
From: support@fammro.com

In der robots.txt heißt er FAMMRO-Crawler

Vor jedem Durchlauf liest er die robots.txt Ihrer Website

Er folgt der Gruppe für FAMMRO-Crawler, gibt es keine, der Gruppe für alle Crawler

Gesperrte Adressen ruft er nicht ab, auch keine Sitemaps und keine Shop Schnittstellen

Crawl-delay hält er ein, bis zu 2 Sekunden zwischen zwei Abrufen

Längere Werte für Crawl-delay begrenzt er auf 2 Sekunden

Er beginnt mit 6 gleichzeitigen Abrufen

Meldet Ihr Server 429 oder 503, ruft er weniger Seiten gleichzeitig ab

Eine Antwort lädt er bis 10 MB, eine Sitemap bis 30 MB, größere bricht er ab

Diese Zeilen in Ihrer robots.txt sperren die ganze Website für ihn

User-agent: FAMMRO-Crawler
Disallow: /

Einzelne Bereiche sperren Sie mit eigenen Zeilen in derselben Gruppe

User-agent: FAMMRO-Crawler
Disallow: /checkout
Crawl-delay: 2

Neue Regeln gelten ab dem nächsten Durchlauf

Fragen und Hinweise zum Crawler an support@fammro.com

Nennen Sie dabei bitte Ihre Domain und den Zeitraum der Abrufe