01
Die Ausgangslage
Ein Anbieter von Analysen für Schiffsdaten verarbeitete die Rohdaten der Schiffe mit einer Architektur aus Elasticsearch und manuellen Services. Ziel war der Umstieg auf eine Streaming-Architektur: Die Rohdaten sollten kontinuierlich verarbeitet und für die registrierten Kund:innen ausgewertet werden, und das System sollte mit wachsenden Datenmengen skalieren.
02
Unser Vorgehen
- 01 Auswahl und Provisionierung eines passenden Apache-Kafka-Setups auf Amazon MSK
- 02 Streaming-Architektur: Die Rohdaten laufen von einem Input-Topic in weitere, partitionierte Topics, aus denen Erkenntnisse für die registrierten Kund:innen gewonnen werden
- 03 Umsetzung der Microservices mit Java, Spring Boot und Kafka Streams, inklusive Schema Registry, Kafka Connect und MirrorMaker
- 04 Integration in die bestehende CI/CD-Umgebung mit GitLab
- 05 Betrieb der Microservices auf managed Kubernetes bei DigitalOcean
03
Das Ergebnis
- Eine Streaming-Architektur statt manueller Services
- Hohe Skalierbarkeit: Weil die Schiffsdaten bereits partitioniert sind, lassen sich die Services über Replikate horizontal skalieren
- Auswertungen für registrierte Kund:innen direkt aus den Datenströmen
- Automatisierte Auslieferung der Microservices über GitLab CI/CD