Spezialist(en) für Screenscraping
notwendige Expertise
Gewünscht ist die Entwicklung eines Bots, der es ermöglicht, aus zunächst 5 vorgegebenen Websites automatisiert Preis-Informationen und weitere Angebotsdetails abzugreifen und einer leistungsfähigen Datenbank, die diese Daten zur Verfügung stellt. Die Quellportale verfügen über dynamische Angebotssuchen, die Darstellung eines Angebots-Datensatzes folgt jeweils gleichen Kriterien, sodass Screenscraping möglich ist. Pro Website sind etwa 300-600 solcher Datensätze verfügbar, es kann täglich zu Änderungen kommen.
Der zu entwickelnde Bot soll auf Performance ausgelegt sein, die Anzahl der Quellportale soll künftig (im 2. Schritt) auf etwa 50 erweitert werden. Deshalb sollen neue Quellseiten mit geringem Aufwand hinzugefügt werden können. Der Bot soll so "intelligent" sein, dass er von den Portalbetreibern nicht ohne weiteres als solcher identifiziert werden kann, eher menschliches Nutzungsverhalten nachahmt. Die Datenbank mit den geparsten Angebotsdaten soll performant und skalierbar sein. Die Daten werden in einem neuartigen Frontend zusammengefasst und - ähnlich einem Preisvergleichsportal - ausgegeben. Das komplette Frontend ist nicht Teil dieses Projekts, lediglich der Bot und die Datenbank.
Die Rechte an allen erbrachten Leistungen sollen vollständig beim Kunden liegen. Ein Weiterverkauf muss möglich sein. Es wird angestrebt, nach erfolgreicher Entwicklung des ersten Steps das Rollout gemeinsam umzusetzen.
