Om roboten vår
Denne siden forklarer hva roboten vår henter, hvor ofte, og hvordan du stopper den. Teksten står nedenfor på dansk og på engelsk.
User-Agent
PlendioBot/1.0 (+https://plendio.dk/bot)
Hvem vi er
Vi driver en dansk prissammenligning. Robotten henter produktdata, så folk kan sammenligne priser på tværs af butikker — og så din butik bliver fundet.
Sådan indsamler vi priser
Vi henter priser fra to slags kilder: officielle produktfeeds, som butikken selv har udgivet, og butiks-API'er, der er offentlige ved design — dem, platformen selv dokumenterer. Begge dele er ting, butikken har lagt frem. Vi henter ikke produktsider, vi logger os aldrig ind, og vi rører ingen lukkede eller private endepunkter.
Robotten identificerer sig i sin user-agent med et link til netop denne side, så du altid kan slå op, hvem der har besøgt dig. Grænserne nedenfor er dem, koden håndhæver — ikke hensigter.
Hvad vi henter
- · Offentlige produktfeeds, du selv har udgivet (Google Merchant-XML, Facebook-katalog og lignende).
- · Offentlige butiks-API'er, der er beregnet til at være offentlige — for eksempel Shopifys
/products.jsonog WooCommerces Store API. - ·
robots.txtog sitemaps, for at finde ovenstående.
Vi henter ikke produktsider i dag. Når vi begynder på det, står det her først. Vi logger os aldrig ind, udfylder ingen formularer og rører ingen private API'er.
Hvor hurtigt
- · Højst 1 forespørgsel i sekundet pr. domæne.
- · Samme grænse pr. IP-blok (IPv4 /24, IPv6 /48), så butikker på samme hosting-platform tilsammen heller ikke bliver presset.
- · Højst 25 forespørgsler, når vi undersøger et nyt domæne.
- · Højst 200 sider pr. feed-gennemløb, og vi stopper ved 200 MB.
- · Vi bruger
ETagogLast-Modified, så et uændret feed koster dig ét 304-svar. - · Som udgangspunkt kigger vi forbi 24. time.
Regler vi følger
Vi læser robots.txt før hver eneste sti og respekterer Crawl-delay. Svarer din server 429 eller 503, holder vi pause og prøver igen senere — vi bliver ikke ved. Vi følger kun GET og HEAD.
Kan vi slet ikke hente din robots.txt, eller svarer serveren med en fejl (5xx), læser vi det som et nej og henter ingenting: en robot, der ikke kan læse reglerne, gætter ikke på dem. Findes filen ikke (404), findes der ingen regler at følge, og så gælder grænserne ovenfor.
Sådan bremser eller blokerer du os
Læg det her i din robots.txt:
# Stop os helt / block us entirely
User-agent: PlendioBot
Disallow: /
# Eller: luk kun bestemte stier / or: only certain paths
User-agent: PlendioBot
Disallow: /kurv
Disallow: /checkout
# Eller: behold os, men gå langsommere / or: keep us, but slower
User-agent: PlendioBot
Crawl-delay: 10
# Regler for vores tidligere navne (PricanaBot, PricebotBot) gælder fortsat,
# når filen ikke har nogen for PlendioBot. / Rules for our former names
# still apply when the file has none for PlendioBot.
Kontakt
Skriv til hello@plendio.com, hvis du vil overtage din butiks side, have den fjernet, eller bare vil vide, hvad vi har hentet hos dig. Du kan også overtage butikken eller bede om at blive fjernet direkte fra butikkens side hos os.
Vilkårene for en overtaget butiksside står i Vilkår for butikker, og hvad der afgør rækkefølgen i et søgeresultat — og hvorfor ingen butik kan betale for en placering — står i Sådan rangerer vi.
About our crawler
We run a Danish price comparison site. Our crawler collects product data so shoppers can compare prices across shops — and so your shop gets found.
How we collect prices
We take prices from two kinds of source: official product feeds a shop publishes itself, and shop APIs that are public by design — the ones the platform documents. Both are things the shop has put out in the open. We do not fetch product pages, we never log in, and we never touch closed or private endpoints.
Our crawler identifies itself in its user-agent with a link to this page, so you can always look up who visited you. The limits below are the ones the code enforces, not intentions.
What we fetch
- · Public product feeds you already publish (Google Merchant XML, Facebook catalog and similar).
- · Shop APIs that are public by design, such as Shopify's
/products.jsonand the WooCommerce Store API. - ·
robots.txtand sitemaps, to find the above.
We do not fetch product pages today. If that changes, this page changes first. We never log in, never submit forms and never touch private APIs.
How fast
- · At most 1 request per second per host.
- · The same limit per IP block (IPv4 /24, IPv6 /48), so shops sharing a hosting platform are not hit collectively.
- · At most 25 requests when we first survey a domain.
- · At most 200 pages per feed run, and we stop at 200 MB.
- · We send
ETagandLast-Modified, so an unchanged feed costs you one 304. - · By default we come back every 24. time.
Rules we follow
We read robots.txt before every path and honour Crawl-delay. If your server answers 429 or 503 we back off and retry later rather than pressing on. We only issue GET and HEAD.
If we cannot fetch your robots.txt at all, or your server answers 5xx, we read that as a no and fetch nothing: a crawler that cannot read the rules does not get to guess them. If the file is simply absent (404) there are no rules to follow, and the limits above apply.
Slowing us down or blocking us
Put this in your robots.txt:
# Stop os helt / block us entirely
User-agent: PlendioBot
Disallow: /
# Eller: luk kun bestemte stier / or: only certain paths
User-agent: PlendioBot
Disallow: /kurv
Disallow: /checkout
# Eller: behold os, men gå langsommere / or: keep us, but slower
User-agent: PlendioBot
Crawl-delay: 10
# Regler for vores tidligere navne (PricanaBot, PricebotBot) gælder fortsat,
# når filen ikke har nogen for PlendioBot. / Rules for our former names
# still apply when the file has none for PlendioBot.
Contact
Email hello@plendio.com to claim your shop's page, ask us to remove it, or just ask what we have collected. You can also claim a shop, or ask to be removed, straight from its page here.
The terms for a claimed shop page are in Vilkår for butikker, and what decides the order of a results page — including why no shop can buy placement — is in Sådan rangerer vi.