Mit ihrer Projektidee “Itsy Bitsy Technology Crawler” ist die Schaltzeit GmbH einer von 23 Gewinnern der diesjährigen Grants4Apps, dem Bayer HealthCare Ideenwettbewerb für innovative Softwarelösungen. Das Preisgeld hilft uns bei der Entwicklung eines Trend Crawlers, der eine optimierte Suche nach Entwicklungen und Trends in Datenbanken ermöglicht. Zur Entwicklung der Lösung befragte die Schaltzeit GmbH (SZ) Herrn Thomas Stark (TS), der mit seinem Unternehmen cisLogic langjähriger Partner der Schaltzeit bei der Entwicklung von Softwarelösungen ist:
SZ: Was kann ein Trend Crawler?
TS: Einen Crawler kann man sich zunächst wie eine Meta-Suchmaschine vorstellen. Über eine zentrale Suchmaske können mehrere eingebundene Datenbanksysteme gleichzeitig abgefragt werden. Anstatt bei der Suche nach neuen Entwicklungen und Trends in Dutzenden Datenbanken nacheinander eine Abfrage auszuführen, werden die einzelnen Abfragen parallel im Hintergrund abgearbeitet und die Ergebnisse in einer Liste zusammengefasst und kategorisiert und sortiert dargestellt. Eine solche Anwendung spart viel Zeit und unterstützt zusätzlich bei der Relevanzabschätzung der Suchergebnisse. Unser Trend Crawler ist dabei im Gegensatz zu normalen Meta-Suchmaschinen ein Spezialwerkzeug, das je nach Aufgabengebiet ausgesuchte Datenbanken abfragt und dabei auch Passwort-geschützte Systeme legal mit einbeziehen kann. Der Trend Crawler erstellt keinen eigenen Index, sondern ist ein Mittler zwischen den Welten.
SZ: Was ist aus Entwicklersicht dabei besonders schwierig?
TS: Wir binden über spezielle Adapter auch Seiten ein, die selbst über keine dedizierte Schnittstelle verfügen. Die Steuerung dieser Suchabfragen erfolgt analog der Mensch-Browser-Interaktion durch einen Robot. Wir verwenden dafür einen speziellen Phantom-Browser, der selbst über keine Oberfläche verfügt. Die Schwierigkeit ist es dabei, die von der Suchabfrage zurückgelieferten Inhalte auch auf schlecht programmierten Seiten korrekt auszulesen. Außerdem ist viel Hintergrundwissen über die gesuchten Inhalte notwendig, um eine sinnvolle Steuerung der Subabfragen zu ermöglichen. Einige der eingebunden Seiten bieten in ihren Ergebnislisten keine ausreichenden Textinformationen zu den einzelnen Suchtreffern an. Hier muss der Crawler die aufgelisteten Fundstellen manuell „abkrabbeln“, die Seiten einzeln aufrufen und dann dort die Inhalte auslesen.
SZ: Was findest Du dabei besonders spannend?
TS: Aus Entwicklersicht ist die ereignisgesteuerte Multithreading-Architektur spannend. Während im Hintergrund dutzende Teilprozesse werkeln, müssen die einzelnen Suchabfragen ihre Ergebnisse selbständig zum Web-Browser des Anwenders “pushen”. Was der Nutzer zu Gesicht bekommt, ist eine dynamische Seite, die wie von Geisterhand gesteuert, nach und nach mit Inhalten gefüttert wird.
SZ: Wie kann der Anwender nachher mit den unterschiedlichen Suchergebnissen umgehen?
TS: Richtig interessant wird der Trend Crawler dann, wenn er selbständig Suchabfragen ausführt und den Benutzer darüber benachrichtigt, wenn neue Treffer in den Ergebnislisten auftauchen. Wie ein Radar meldet der Trend Crawler dann, wenn sich auf den überwachten Datenbanken zu einem bestimmten Suchbegriff etwas tut. Der Benutzer kann sich über eine Alert-Funktion darüber benachrichtigen lassen.
Wie unterscheiden wir uns denn von anderen Metasuchmaschinen?
Anders als Metasuchmaschinen, die nur auf frei verfügbaren Quellen im Internet zurückgreifen, bieten wir als Service die Suche in passwortgeschützten Datenbanken an. Die Auswahl der eingebundenen Datenbanken und die dedizierte Konfiguration der Schnittstellen werden nach den Erfordernissen des Kunden gestaltet. Die richtige Auswahl und Konfiguration entscheidet über die Qualität des Ergebnisses.
SZ: Wie wird der Trend Crawler in die Scouting Software PEACOQ eingebunden sein?
TS: Der Trend Crawler ist Bestandteil der PEACOQ-Software und kann dort als Modul eingebunden werden. Fundstellen können dann in den Workflow unseres Datenbanksystems übernommen und dort zu neuen Trendbeschreibungen “veredelt” werden.
SZ: cisLogic ist jetzt seit über 6 Jahren der IT-Partner der Schaltzeit, welche gemeinsamen Projekte waren für Dich herausragend?
TS: Sicherlich ist neben den vielen kleinen gemeinsamen Software-Projekten die Entwicklung der PEACOQ-Software das Hauptprojekt, das die cisLogic gemeinsam mit der Schaltzeit durchführt. Bei der Entwicklung von PEACOQ waren die Projekte Software-Campus, die EIT ICT Masterschool und der Telekom Innovation Contest von besonderer Bedeutung, da hier die Zusammenarbeit mit der Schaltzeit besonders zum Tragen gekommen ist.
SZ: Wie verläuft üblicherweise die Arbeitsteilung bei der Entwicklung?
TS: Die Schaltzeit übernimmt die Kommunikation mit dem Auftraggeber, die Definition der Anforderungen und die Steuerung und Planung des Projekts, während sich die cisLogic auf die Architektur und technische Umsetzung der Software konzentriert. Die Durchführung von Tests auf unseren Testsystemen und die Erarbeitung von Designvorlagen fallen ebenfalls in das Aufgabengebiet der Schaltzeit.
SZ: Welche Entwicklungssprünge siehst Du für die Zukunft in der Softwareunterstützung für Innovationsmanagement?
TS: Das Internet wächst nach wie vor in hoher Geschwindigkeit. Auch die Zahl von relevanten fachlichen Informationsquellen und frei verfügbaren Datenbanken steigt rasant an. Die Beobachtung von Trends über das Internet ist eine Herausforderung, die mit Tools wie dem Trend Crawler besser gemeistert werden kann. Hier fängt aber die Recherchearbeit erst an. Softwareunterstützung bedeutet an dieser Stelle, dass technisch unterstützte Workflows zur Verfügung stehen, über die eine Bewertung und Auswahl der gefundenen Trends durch Experten durchgeführt werden kann. Zusätzlich können automatische Analysen und grafische Aufarbeitungen helfen, Trends und Entwicklungen früher wahrzunehmen und darauf zu regieren.
SZ: vielen Dank für das Gespräch. Und nun hau in die Tasten! 🙂
