Wie mandari Ratsinformationen abruft
Hier steht, woran Sie die Abrufe unseres Dienstes mandari-ingestor erkennen, wie oft sie kommen und wie Sie sie steuern.
Woran Sie unsere Abrufe erkennen
Diese Angaben können Sie unverändert in Freigaben, Filter und Ihre robots.txt übernehmen; beim User-Agent genügt der Anfang mandari-ingestor.
- User-Agent
-
mandari-ingestor/<Version> (+https://mandari.de/ingestor/; support@mandari.de)
Die Version kann sich ändern; einige Abrufe, etwa von Dokumenten und Fotos, senden die Kennung ohne Version. Dieselbe Kennung tragen auch unsere Abrufe bei Streaming-Anbietern und Geodiensten, etwa dem Geoportal einer Kommune. Dort gelten die Nutzungsregeln des Dienstes, nicht die robots.txt.
- Token für robots.txt
-
mandari-ingestor
Eine Gruppe für dieses Token gilt für alle unsere Abrufe bei Ratsinformationssystemen; Groß- und Kleinschreibung zählt nicht. Gruppen für unsere früheren Kennungen mandari-file-cache und mandari beachten wir weiter, soweit sie etwas sperren.
- Abruf-Adresse
-
144.76.153.200
Von dieser Adresse ruft derzeit die Instanz ab, die wir betreiben, nur über IPv4. Erkennen Sie uns bitte vor allem am User-Agent: Die Adresse kann sich ändern, etwa bei einem Serverumzug. Machen Sie Freigaben deshalb nicht allein an der Adresse fest.
- Kontakt
-
Für Fragen, einen langsameren Takt, ein Zeitfenster für den Vollabgleich oder den Ausschluss Ihres Systems.
Selbst betriebene Installationen. mandari ist Open Source. Wer es selbst betreibt, ruft von der Adresse des eigenen Servers ab und kann für den Abgleich eine eigene Kennung mit eigener Kontaktadresse setzen. Andere Abrufe, etwa von Dokumenten, senden auch dort meist unsere Kennung. Abrufe mit unserer Kennung von anderen Adressen als der oben genannten können also von solchen Installationen stammen. Ihre Regeln für mandari-ingestor gelten auch für solche Installationen, denn mandari prüft dieses Token immer mit.
Wann und wie oft wir abrufen
Höchstens eine Anfrage pro Sekunde je Hostname, über alle unsere Dienste zusammen. Schneller rufen wir nicht ab, auf Ihren Wunsch langsamer.
Das gilt auch, wenn mehrere Kommunen unter demselben Hostnamen liegen; verschiedene Hostnamen zählen getrennt, auch auf demselben Server. Jede Anfrage zählt, auch der Abruf Ihrer robots.txt und jede Weiterleitung. Bei Ratsinformationssystemen folgen wir einer Weiterleitung höchstens fünfmal je Abruf und nur, wenn die robots.txt ihres Ziels es erlaubt; jeder Abgleich hält höchstens zwei Anfragen gleichzeitig offen. Den Takt halten auch unsere Abrufe bei Streaming-Anbietern und Geoportalen ein; schneller laden wir nur Kartenkacheln vom Kachelserver von OpenStreetMap, bis zu 20 je Sekunde. Ist die Abstimmung zwischen unseren Diensten gestört, hält jeder Dienst den Takt für sich, bis sie wieder steht; in dieser Zeit können mehr als eine Anfrage pro Sekunde ankommen.
| Abruf | Wann | Umfang |
|---|---|---|
| Änderungsabgleich | nach Bedarf, alle 5 Minuten bis alle 2 Stunden | Werktags von 7 bis 19 Uhr alle 10 Minuten, sonst stündlich, am Wochenende alle 2 Stunden; an Sitzungstagen und am Vortag von 7 bis 22 Uhr alle 5 Minuten. Ändert sich mehrmals in Folge nichts, fragen wir seltener. Wir fragen nur nach Änderungen (modified_since), ohne Änderung ist das eine Seite je Liste; filtert Ihr System nicht, hören wir nach fünf Seiten ohne Änderung auf. |
| Langsame Listen | nach einer Zeitüberschreitung | Bricht eine optionale Liste, etwa die Beratungen, nach 60 Sekunden ohne Antwort oder mit HTTP 504 ab, lassen wir diese Liste ruhen, auch im Vollabgleich: zuerst eine Stunde, danach jeweils doppelt so lange, höchstens 24 Stunden. Die übrigen Listen gleichen wir weiter ab; danach holen wir die ausgelassenen Änderungen nach. |
| Vollabgleich | nachts im Zeitfenster, standardmäßig ab 1 Uhr | Alle Listen vollständig, höchstens einmal je Nacht, standardmäßig mit Beginn zwischen 1 und 6 Uhr, bei zuverlässig filternden Systemen derzeit alle 28 Tage. Bei Systemen mit OParl-Schnittstelle legen wir ihn auf Wunsch in ein eigenes Zeitfenster; er endet mit dem Fenster, das auch gilt, wenn wir ihn ausnahmsweise von Hand starten. Ohne eigenes Fenster kann er von Hand auch tagsüber laufen. |
| Dokumente | mit dem Abgleich und stündlich | Neue Dateien laden wir, um ihren Text durchsuchbar zu machen und sie bei uns abzulegen; stündlich holen wir höchstens 200 fehlende je System nach. Schlägt ein Abruf fehl, versuchen wir es frühestens nach 15 Minuten, 1, 6, 24 und 72 Stunden erneut, danach alle sieben Tage. Öffnet jemand bei uns ein Dokument, das wir nicht abgelegt haben, laden wir es dafür bei Ihnen. |
| Dokumente prüfen | stündlich | Meldet Ihre Schnittstelle ein Dokument als gelöscht oder ist es bei Ihnen nicht mehr abrufbar, sperren wir es bei uns, sobald wir das bemerken; Kopie und Text löschen wir 30 Tage später. Nicht gemeldete Löschungen finden wir über Stichproben per HEAD, höchstens 30 je Kommune und Lauf; das kann dauern. Löschen Sie viele Dokumente auf einmal, schreiben Sie uns bitte. Geänderte Dokumente laden wir neu, höchstens 200 je Lauf. |
| Personenfotos | montags um 3 Uhr | Nur bei Systemen, für die wir die Adressen der Fotos eingerichtet haben, höchstens 500 Personen je Kommune. Jedes Foto fragen wir höchstens alle 30 Tage an, auch wenn es fehlte oder der Abruf fehlschlug. Ist der Dokumentabruf für Ihr System abgeschaltet oder pausieren wir es nach wiederholten Fehlern, laden wir keine Fotos. |
| robots.txt | vor dem ersten Abruf, dann täglich | Jeder unserer Dienste liest sie vor seinem ersten Abruf, eine je Hostname, und nutzt sie höchstens 24 Stunden, solange sie erreichbar ist. Fehlt sie (HTTP 4xx außer 408 und 429), ist alles erlaubt. Ist sie nicht erreichbar, versuchen wir es frühestens nach 15 Minuten wieder. Bis das gelingt, gilt die zuletzt gelesene Fassung weiter; gab es keine, stellen wir die Abrufe zurück. |
| Erstprüfung | vor der Aufnahme | Ob eine Kommune für uns infrage kommt, prüfen wir mit höchstens fünf Anfragen, robots.txt und Weiterleitungen eingerechnet. Bei der Aufnahme lesen wir das System und die Liste der Kommunen, höchstens 20 Seiten; regelmäßig fragen wir ein neues System erst ab, wenn wir es eigens aktivieren. Neu entdeckte Kommunen nehmen wir erst in Listen und Übersichten auf, wenn wir sie geprüft haben. |
| Live-Übertragung und Geoportale | rund um Sitzungen und täglich um 4:50 Uhr | Begleiten wir eine Sitzung live, fragen wir beim Streaming-Anbieter einmal je Minute, ob übertragen wird, ab 45 Minuten vor dem Beginn und längstens bis 10 Stunden danach; während der Übertragung lesen wir standardmäßig alle 10 Sekunden ein Einzelbild, mit 2 bis 4 Anfragen. Geoportale fragen wir täglich nach den Umrissen von Bebauungsplänen. Ihre robots.txt werten diese Abrufe nicht aus; möchten Sie sie nicht, schreiben Sie uns. |
Drosseln oder ausschließen
Per robots.txt. Ein Disallow für mandari-ingestor genügt: Danach stellen wir keine Anfrage mehr und lesen nur noch Ihre robots.txt, jeder unserer Dienste etwa einmal am Tag. Regeln für dieses Token gelten für alle unsere Abrufe bei Ratsinformationssystemen, für die Schnittstelle wie für Dokumente und Fotos. Ohne eigene Gruppe gelten für uns Ihre Regeln für alle (User-agent: *); mit eigener Gruppe gelten nur deren Regeln. Wiederholen Sie dort also, was auch für uns gelten soll. Wir werten Allow und Disallow mit den Platzhaltern * und $ nach RFC 9309 aus, Crawl-delay nicht: Für einen langsameren Takt schreiben Sie uns. Änderungen wirken spätestens nach 24 Stunden.
Per E-Mail. Schreiben Sie an support@mandari.de, wenn wir langsamer (bis zu einer Anfrage alle 30 Sekunden) oder seltener abrufen sollen, den Vollabgleich nur in einem bestimmten Zeitfenster oder seltener fahren sollen, keine Dokumente mehr laden sollen oder wenn wir Ihr System oder Ihr Geoportal nicht mehr abrufen sollen. Ein solches Zeitfenster gilt nur für den Vollabgleich: Änderungsabgleich und Dokumentabrufe laufen auch dann rund um die Uhr im Takt. Nennen Sie uns den Hostnamen Ihres Systems; liegen dort mehrere Kommunen, gilt die Vereinbarung für alle. Wünsche, Inhalte bei uns zu entfernen, prüfen wir im Einzelfall. Wir antworten innerhalb von fünf Werktagen.
Ausnahmen nur mit Freigabe. Von Ihrer robots.txt weichen wir nur ab, wenn Ihre Stelle das ausdrücklich freigibt, je nach Freigabe für die Schnittstelle, für Dokumente oder für beides, und halten die Freigabe fest.
User-agent: mandari-ingestor
Disallow: /User-agent: mandari-ingestor
Disallow: /*.pdf$Liegen Ihre Dokumente unter anderen Adressen, etwa getfile.asp?id=…, sperren Sie deren Pfad. Groß- und Kleinschreibung zählt: .pdf erfasst nicht .PDF.
Was wir abrufen
Nur Öffentliches. Wir rufen nur ab, was ohne Anmeldung erreichbar ist: Sitzungen, Tagesordnungen, Vorlagen, Gremien, Personen und Dokumente, bei einzelnen Systemen auch Fotos von Ratsmitgliedern. Steht ein Dokument hinter einer Prüfung für Menschen, laden wir es nicht.
Bevorzugt OParl. Bietet Ihr System die OParl-Schnittstelle an, nutzen wir sie. Sonst lesen wir ersatzweise die öffentlichen Webseiten, und zwar langsamer: standardmäßig eine Seite alle zwei Sekunden, nacheinander. Viele Ratsinformationssysteme bringen OParl bereits mit.
Mit Quellenangabe. Bei uns können Bürgerinnen und Bürger Ihre Inhalte durchsuchen. Auf unseren Seiten zu Ihrer Kommune nennen wir Ihr Ratsinformationssystem als Quelle; bei Vorlagen verlinken wir die Seite in Ihrem System, wenn Ihre Schnittstelle sie angibt. Unsere Daten stehen ihrerseits offen unter oparl.mandari.de bereit.
Bei Fehlern und Sperren
Automatische Pause. Eine einzelne Anfrage wiederholen wir bei Netz- und Serverfehlern höchstens zweimal, frühestens nach einer und nach zwei Sekunden. Nach fünf Fehlversuchen an einem Server im selben Abgleich, auch HTTP 429, fragen wir ihn eine Minute lang nicht an; einen Retry-After-Header werten wir nicht aus. Schlägt ein Abgleich dreimal in Folge fehl, pausieren wir die Quelle: zuerst 10 Minuten, danach jeweils doppelt so lange, bis höchstens 6 Stunden. Nach fünf Serverfehlern in Folge oder wenn Ihre robots.txt nicht erreichbar ist und wir keine frühere Fassung haben, pausiert unser Abgleich mindestens 30 Minuten, lehnt Ihr Server gezielt unsere Kennung ab (HTTP 403), mindestens eine Stunde, sperrt Ihre robots.txt jede Anfrage, 24 Stunden.
Dokumente und Fotos. Das stündliche Nachholen und Prüfen von Dokumenten, das Laden beim Öffnen und die Personenfotos ruhen erst, wenn drei Abgleiche in Folge Ihr System nicht erreichen. Neue Dateien, deren Text noch fehlt, lädt unsere Texterkennung auch während einer Pause, im üblichen Takt. Eine Sperre per robots.txt beachten diese Abrufe immer.
Keine Umgehung. Um eine Sperre zu umgehen, wechseln wir weder Kennung noch Adresse. Eine abweichende Kennung für Ihr System setzen wir nur, wenn Sie sie mit uns vereinbaren, etwa weil Ihr Server bestimmte Wörter im User-Agent ablehnt. Auf ein HTTP 403 folgt je Server und Abgleich sowie je Erstprüfung höchstens eine Vergleichsanfrage mit der Standardkennung unserer HTTP-Bibliothek (python-httpx), im Takt und ohne Weiterleitung, nur um zu erkennen, ob sich die Sperre gegen unsere Kennung richtet. Abgerufen wird danach weiter nur mit unserer Kennung.
Fragen zu unseren Abrufen?
Schreiben Sie uns. Wir antworten innerhalb von fünf Werktagen und stimmen unsere Abrufe mit Ihnen ab.
- support@mandari.de
- Datenquellen
- Quellennachweise
- Unsere Schnittstelle
- oparl.mandari.de