Potoki danych z Apache Kafka: wzrost dokładności podejmowania decyzji o 36%

Korzystając ze strumieniowego przesyłania danych Apache Kafka, Innowise zapewnił płynny potok danych do świadomego podejmowania decyzji i analiz.

Klient

Branża

Motoryzacja, Produkcja

Regio

Klient od

2023

Naszym klientem jest międzynarodowa korporacja specjalizująca się w produkcji różnorodnych pojazdów osobowych i użytkowych, motocykli, silników i maszyn turbinowych.

Szczegółowe informacje o kliencie nie mogą być ujawnione zgodnie z postanowieniami NDA.

Wyzwanie

Nieefektywność operacyjna i brak wglądu w biznesowe przepływy pracy

Producent motoryzacyjny, globalny podmiot z oddziałami i centrami dealerskimi na wszystkich kontynentach, stanął w obliczu znaczącego wyzwania zarządzania danymi dylemat. Różne jednostki w firmie działały niezależnie, co skutkowało nieefektywnością i brakiem wglądu w operacje, sprzedaż, zarządzanie projektami i nie tylko.

Meerdere gegevensbronnen leidden tot dubbel werk, een inconsistente gegevenskwaliteit en een aanzienlijk beslag op de middelen omdat teams op verschillende locaties worstelden om informatie met elkaar in overeenstemming te brengen. Deze versnippering belemmerde het vermogen van de fabrikant om snel en effectief weloverwogen strategische beslissingen te nemen.

Ponadto klient miał trudności z dostępem do danych w czasie rzeczywistym, potrzebnych do podejmowania strategicznych decyzji. Opóźnienia w udostępnianiu i przetwarzaniu danych skutkowały niewykorzystanymi szansami i spóźnionymi reakcjami na potrzeby rynku, ponieważ trendy rynkowe i preferencje konsumentów szybko ewoluowały.

Klient poszukiwał kompleksowego rozwiązania w celu ujednolicenia różnych źródeł danych w spójny system i zapewnienia skalowalności w celu dostosowania do przyszłych ekspansji biznesowych.

Wdrożenie

Potok danych Apache do integracji różnych źródeł danych w jeden spójny system

Innowise bood een transformerende aanpak gericht op de integratie van Apache Kafka om de uitdagingen van de klant aan te pakken. Simpel gezegd hebben we de bestaande informatiestromen van de klant omgezet in Kafka-datastromen om te zorgen voor een ononderbroken datastroom, realtime analyses en uitgebreide visualisaties.

Konektor Kafka dla źródła danych codebeamer

Naszym początkowym zadaniem było stworzenie architektury umożliwiającej pobieranie informacji ze źródeł danych i przesyłanie ich do Apache Kafka. Najpierw zbudowaliśmy konektor dla Codebeamer, kompleksowej platformy zarządzania projektami, której klient używał do tworzenia oprogramowania i współpracy. Wybraliśmy Apache Kafka ze względu na jego wyjątkową zdolność do obsługi strumieni danych na dużą skalę, o wysokiej przepustowości i w czasie rzeczywistym, w sposób odporny na błędy, skalowalny i rozproszony.

In eerste instantie hebben de specialisten van Innowise de API-documentatie van Codebeamer uitgebreid geanalyseerd om de meest efficiënte methoden te identificeren voor het extraheren van projectgegevens, waaronder werkitems, wijzigingenreeksen en gebruikersactiviteiten. We onderzochten ook het authenticatiemechanisme, de limieten voor gegevensverzoeken en de retourformaten van de API.

Op basis van de API-analyse ontwierpen we de connector-architectuur met een focus op modulariteit, schaalbaarheid en fouttolerantie. Onze software-ingenieurs gebruikten Java om de connector te coderen, die verantwoordelijk was voor het linken naar Codebeamer's API, het ophalen van data en het schrijven naar een Kafka topic. We implementeerden een converter om de gegevens te transformeren van Codebeamer's formaat naar een Kafka-compatibel formaat. Dit omvatte het mappen van verschillende gegevensvelden naar Kafka's key-value paren en het afhandelen van schemavariaties. Tot slot beheerde ons projectteam een robuuste configuratie, waarmee gebruikers dynamisch API-referenties, polling-intervallen en Kafka-onderwerpen konden specificeren.

In de eerste fase peilde de connector de API van Codebeamer om met configureerbare intervallen nieuwe en bijgewerkte gegevens op te halen. Daarna werden de gegevens omgezet in een Kafka-compatibel formaat, zodat elk stukje informatie wordt weergegeven als een discrete gebeurtenis. We maakten gebruik van mogelijkheden voor batchverwerking om grote hoeveelheden gegevens efficiënt te verwerken zonder de API van Codebeamer of het Kafka-cluster te overweldigen.

Konektor Kafka Źródło danych FTP

Opracowaliśmy również niestandardowy konektor Kafka dla źródła danych FTP, krytycznego komponentu do konsolidacji różnych plików i formatów, w tym JSON, XML i CSV. Konektor łączył się z serwerem FTP i skutecznie monitorował nowe i zaktualizowane pliki, wyodrębniając je i przenosząc do ekosystemu Kafka.

Wdrożyliśmy solidny mechanizm monitorowania plików w celu wykrywania dodawania nowych plików lub modyfikacji istniejących plików. Włączyliśmy inteligentną logikę parsowania, która mogła automatycznie rozpoznawać i poprawnie przetwarzać każdy typ pliku w celu obsługi różnorodnych formatów plików (JSON, XML, CSV). Miało to kluczowe znaczenie dla przekształcania ustrukturyzowanych i częściowo ustrukturyzowanych danych w tych plikach w jednolity format odpowiedni do przesyłania strumieniowego przez Kafkę.

Technologie

Back-end

Maszyna wirtualna Java 17, Kotlin, Spring

CI/CD

CI/CD op locatie

Proces

Ons projectteam volgde een goed gestructureerd projectverloop, met deliverables aan het einde van elke fase om afstemming op de doelen van de klant te garanderen. Onze aanpak was gebaseerd op het Scrum-raamwerk, dat flexibiliteit, voortdurende verbetering en een sterke betrokkenheid bij de klant gedurende het hele project mogelijk maakte.

Początkowo nasi analitycy biznesowi przeprowadzili warsztaty z klientem, aby zrozumieć jego krajobraz danych, zidentyfikować kluczowe źródła danych i zdefiniować zakres integracji Kafka. Na podstawie tych informacji opracowali kompleksowy plan projektu i listę wymagań dla konektorów Kafka.

Po zebraniu wymagań nasi programiści zaprojektowali architekturę dla konektorów Kafka. Po kolei, Inżynierowie QA przeprowadziła szeroko zakrojone kontrole, w tym testy jednostkowe, integracyjne i wydajnościowe, aby zapewnić niezawodność i wydajność złączy.

Na koniec wdrożyliśmy konektory w środowisku klienta, zapewniając sesje szkoleniowe dla zespołu klienta w zakresie zarządzania i korzystania z nowych rozwiązań do strumieniowego przesyłania danych.

Podczas całego projektu komunikacja z klientem była najwyższym priorytetem. Wykorzystaliśmy Slack do codziennej komunikacji i Zoom do cotygodniowych odpraw i przeglądów sprintów. Śledzenie zadań i zarządzanie projektami odbywało się za pośrednictwem Jira, co zapewniało przejrzysty wgląd w postępy projektu i odpowiedzialność wszystkich członków zespołu.

Obecnie nasz zespół projektowy wprowadza drobne poprawki w razie potrzeby. Poza tym, klient planuje zwrócić się do nas z prośbą o realizację większej liczby projektów streamingu danych w przyszłości.

Zespół

Właściciel produktu

Architekt rozwiązań

Kierownik techniczny

Programistów back-end

Wyniki

44% Zwiększenie dostępności danych po wdrożeniu potoku danych z Apache Kafka

Innowise opracowało system konektorów, który agreguje informacje ze źródeł danych klienta i przekształca je w strumienie danych Apache Kafka. Integrując różne źródła danych w ujednolicony, strumieniowy potok danych Apache w czasie rzeczywistym, rozwiązaliśmy podstawowe wyzwania związane z fragmentacją danych, skalowalnością i integracją. Producent z branży motoryzacyjnej korzysta teraz z ograniczonego silosu danych, świadomego podejmowania decyzji i przejrzystych analiz, które sprzyjają rozwojowi biznesu.

Nasze rozwiązanie do strumieniowego przesyłania danych oparte na Kafce jest skalowalne, dzięki czemu klient może szybko się rozwijać i dodawać nowe źródła danych bez uszczerbku dla wydajności.

Czas trwania projektu

Listopad 2022 r. - w toku

36%

zwiększenie dokładności podejmowania decyzji

44%

zwiększenie dostępności danych

Podobne projekty

Skontaktuj się z nami!

Zadzwoń lub wypełnij poniższy formularz, a my skontaktujemy się z Tobą po przetworzeniu Twojego zgłoszenia.

Co będzie dalej?

Po otrzymaniu i przetworzeniu Twojego zgłoszenia skontaktujemy się z Tobą wkrótce, aby wyszczególnić potrzeby projektu i podpisać umowę o zachowaniu poufności, aby zapewnić informatie.

Po przeanalizowaniu wymagań, nasi analitycy i programiści opracowują projekt z zakresem prac, wielkością zespołu, czasem i kosztami szacunki.

Umówimy się z Tobą na spotkanie, aby omówić ofertę i dojść do porozumienia porozumienia.

Podpisujemy umowę i rozpoczynamy pracę nad projektem tak szybko, jak to możliwe.