Tarayıcı bilgisi

MarvedoBot

MarvedoBot, Marvedo’nun SEO analiz tarayıcısıdır. Bir siteyi yalnızca o sitenin sahibi siteyi Marvedo’ya eklediğinde okur.

Kullanıcı aracısı

İstekler şu kullanıcı aracısıyla gelir:

Mozilla/5.0 (compatible; MarvedoBot/1.0; +https://marvedo.com/bot)

robots.txt

MarvedoBot, robots.txt dosyasında MarvedoBot ve Marvedo-SiteAudit adları için yazılan kurallara uyar. Örneğin sitenin tamamını kapatmak için:

User-agent: MarvedoBot
Disallow: /

Tarama hızı

Varsayılan olarak yavaş tarar: yaklaşık 2 saniyede bir istek. robots.txt dosyasındaki Crawl-delay değerine uyar; sunucu 429 veya 503 yanıtı verdiğinde yavaşlar.

IP adresi

İstekler 34.14.118.103 IP adresinden gelir (Google Cloud, europe-west1).

Site sahibinin barındırma firewall’ı bu adresi engellerse, ücretli planlarda analizi tamamlamak için sayfalar bir sayfa işleme hizmeti (Firecrawl) üzerinden de okunabilir. Bu yolda da robots.txt kurallarına uyulur; istekler o hizmetin adreslerinden gelir ve site başına ilk analizde en fazla 40 sayfayla sınırlıdır.

Saklanan veri

MarvedoBot taradığı sayfaların içeriğini (sayfa gövdesini) saklamaz.

İletişim

Sorular ve engelleme talepleri: hello@marvedo.com