Datenbankoptimierung und Machine Learning für ein Unternehmen im Bereich Immobilien-Datenanalyse

Über den Kunden 

KPC Labs bietet Lösungen für Datenaggregation und -analyse und unterstützt Unternehmen aus verschiedenen Branchen dabei, wertvolle Erkenntnisse zu gewinnen und Umsatzprognosen zu erstellen. Die IT-Partnerschaft mit Edvantis besteht seit 2010. Seitdem arbeiten beide Unternehmen an zahlreichen Projekten in den Bereichen Softwareentwicklung und Big-Data-Analytics zusammen.

Herausforderung 

Das übergeordnete Ziel der langfristigen Zusammenarbeit mit KPC Labs bestand darin, vielfältige Herausforderungen im Immobiliensektor zu adressieren – von der Aggregation und Anreicherung von Immobiliendaten über die Entwicklung eines Dialer-Services bis hin zur Integration von Machine-Learning-(ML)-Lösungen. Gemeinsam galt es, Arbeitsabläufe für Immobilienmakler zu optimieren und Vermittler dabei zu unterstützen, Objekte mit hoher Wahrscheinlichkeit für einen schnellen Verkauf effizient zu identifizieren und zu sichern. 

Ziele 

Die Zusammenarbeit mit Edvantis verfolgte folgende zentrale Ziele: 

• Entwicklung eines Web-Crawling-Frameworks zur einfachen Erweiterung und Wartung der automatisierten Datenerfassung aus öffentlichen Websites 
• Konzeption, Entwicklung und Wartung eines webbasierten Lead-Management-Portals 
• Optimierung von Datenbankabfragen zur effizienten Verarbeitung großer Datenmengen 
• Einführung einer Machine-Learning-Lösung zur Prognose von Verkaufswahrscheinlichkeiten im US-Immobilienmarkt 
• Migration von einem Legacy-System auf eine AWS-basierte Infrastruktur 
• Modularisierung eines monolithischen Systems und komponentenbasierte Bereitstellung 
• Aufbau von Datenintegrationspipelines sowie Bereitstellung von Datenakquisitions- und -anreicherungsservices

Teamgröße und Zusammensetzung 

Edvantis stellte ein interdisziplinäres Team aus sieben Softwareentwicklern, einem ML Engineer sowie zwei QA Engineers zusammen. Das Team war in den Bereichen Softwareentwicklung, Qualitätssicherung, technisches Design sowie Machine-Learning- und KI-Forschung und -Entwicklung tätig. 
Abhängig von der jeweiligen Projektphase wurde das Team bedarfsgerecht auf bis zu 15 Spezialisten skaliert, um den Anforderungen des Kunden optimal zu entsprechen. 

Lösung 

Im Verlauf von mehr als 13 Jahren Zusammenarbeit migrierte das Edvantis-Team sämtliche Daten sowie das Portal vollständig auf eine AWS-Infrastruktur. Darüber hinaus wurde eine neue webbasierte Anwendung implementiert und die Performance sowie Stabilität der Plattformen für Datenakquise, Crawling und Ingestion signifikant verbessert.

Zur Optimierung der Prognose von Immobilienwerten setzte Edvantis praxisbewährte Technologien wie Amazon SageMaker ein und nutzte unter anderem Verfahren wie Gradient Boosting und Random Forest. Zusätzlich wurde ein Sprachmodell (BERT) integriert, um Notizen aus den Dialer-Daten automatisiert zu analysieren.

Aufgaben und eingesetzte ML-Modelle 

• Prognose von Off-Market-Immobilien mit hoher Verkaufswahrscheinlichkeit (Likely-to-List / Likely-to-Sell) 
  Gradient-Boosting-Modelle (einschließlich XGBoost, LightGBM, AdaBoost), Random Forest, Stacking-Ensembles, Deep Learning 
• Wettbewerbsanalyse des Marktes auf Basis von Preisprognosemodellen zur Ermittlung von Immobilienwert-Spannen und Ausreißern 
  Random Forest und Gradient-Boosting-Modelle mit kontrollierter Vorhersagelogik 
• Ähnlichkeitsanalyse zur Identifikation vergleichbarer Immobilien auf Basis relevanter Klassifikationsmerkmale 
  K-Nearest-Neighbors (k-NN-Algorithmus) im Vektorraummodell 
• Prognose von Immobilien mit hoher Lead-Wahrscheinlichkeit auf Basis des Kontaktverhaltens 
  Gradient-Boosting-Modelle (einschließlich XGBoost, LightGBM, AdaBoost), Random Forest, Stacking-Ensembles, Deep Learning 
• Vorhersage von Immobilien mit hoher Kontaktbereitschaft sowie optimalen Zeitpunkten für die Ansprache 
  Gradient-Boosting-Modelle (einschließlich XGBoost, LightGBM, AdaBoost), Random Forest, Stacking-Ensembles, Deep Learning 
• Automatisierte Verarbeitung natürlicher Sprache zur Analyse von Notizen und Texten von Maklern zur Ableitung des Lead-Status 
  BERT-Sprachmodell, feinjustiert als Sequenzklassifikator und kombiniert mit TF-IDF-basierter logistischer Regression
• Insight-Kurven zur Identifikation langfristiger Trends und Lead-Peaks über die Zeit 
  Radial-Basis-Funktions-(RBF)-Neuronale Netze und Nadaraya-Watson-Kernel-Regression 

Leistungen im Rahmen der Zusammenarbeit:

• Konzeption und Entwicklung einer wartungsarmen, codefreien Web-Crawling-Sprache und eines Frameworks zur automatisierten Erkennung und Extraktion relevanter Daten aus öffentlichen Websites 
• Konzeption und Entwicklung einer webbasierten Lead-Management-Anwendung zur Identifikation potenzieller Leads auf Basis geozielter Suchen nach Lead-Typen sowie zur Abbildung des gesamten Prospecting- und Kontaktmanagement-Workflows 
  (Einsatz von zwei sehr großen Datenbanken mit hochgradig parallelen, echtzeitfähigen Transaktionsmustern für tausende aktive und hunderte gleichzeitige Nutzer) 
• Kontinuierliche Optimierung von Performance, Stabilität und Sicherheit aller Plattformen über einen Zeitraum von mehr als zehn Jahren 
• Einführung von über 20 Microservices und schrittweise Refaktorisierung des Monolithen zur Unterstützung einer agileren Entwicklung und höherer Release-Geschwindigkeit 
• Aufteilung des Monolithen in ein White-Label-Framework zur Unterstützung von zwei separaten Portalen sowie Entwicklung eines robusten Referral-Frameworks und flexibler Abonnementmodelle für mehr als ein Dutzend Partner 
• Nahtlose Integration eines Drittanbieter-Dialer-Services in die Anwendungs- und Portal-Workflows 
• Einführung von Amazon Redshift als Data-Warehouse-Lösung zur Unterstützung datenbasierter statistischer Auswertungen 
• Migration der Portal-Website auf Elastic Beanstalk innerhalb einer Virtual Private Cloud (VPC) mit Auto-Scaling-Funktionalität 
• Integration von Elasticsearch, was zu einer signifikanten Verbesserung der Website- und Abfrageperformance führte 

Ergebnisse 

Mit Unterstützung der Engineers von Edvantis erhielt KPC Labs leistungsfähige IT-Services in Form von Weblösungen und Portalen für den operativen Betrieb. Aktuell arbeitet das Team an der Entwicklung eines innovativen Recommendations-&-Insights-Moduls, das auf branchenführenden KI-Modellen basiert.

Mehrwert in Zahlen 

• 180+ Websites täglich automatisiert gecrawlt 
• Stabile Ausführung komplexer Datenbankabfragen auf Hunderten Millionen Datensätzen in unter 5 Sekunden für 99 % aller Abfragen bei horizontaler Skalierung 
• Rund 250 Millionen Datensatz-Updates pro Monat, parallel verarbeitet, ohne Auswirkungen auf die Lese-Performance 
• Reifer Software-Engineering-Lifecycle mit CI/CD, der das Einspielen von Patches zu jedem Zeitpunkt ermöglicht Monatliche Minor-Releases und Quartalsweise Major-Releases