Potoki danych z Apache Kafka: wzrost dokładności podejmowania decyzji o 36%

Korzystając ze strumieniowego przesyłania danych Apache Kafka, Innowise zapewnił płynny potok danych do świadomego podejmowania decyzji i analiz.

Klient

Branża

Motoryzacja, Produkcja

Región

Klient od

2023

Naszym klientem jest międzynarodowa korporacja specjalizująca się w produkcji różnorodnych pojazdów osobowych i użytkowych, motocykli, silników i maszyn turbinowych.

Szczegółowe informacje o kliencie nie mogą być ujawnione zgodnie z postanowieniami NDA.

Wyzwanie

Nieefektywność operacyjna i brak wglądu w biznesowe przepływy pracy

Producent motoryzacyjny, globalny podmiot z oddziałami i centrami dealerskimi na wszystkich kontynentach, stanął w obliczu znaczącego wyzwania zarządzania danymi dylemat. Różne jednostki w firmie działały niezależnie, co skutkowało nieefektywnością i brakiem wglądu w operacje, sprzedaż, zarządzanie projektami i nie tylko.

La multiplicidad de fuentes de datos daba lugar a la duplicación de esfuerzos, a la inconsistencia en la calidad de los datos y a una importante fuga de recursos, ya que los equipos de distintas ubicaciones se esforzaban por conciliar la información. Esta fragmentación obstaculizaba la capacidad del fabricante para tomar decisiones estratégicas con conocimiento de causa de forma rápida y eficaz.

Ponadto klient miał trudności z dostępem do danych w czasie rzeczywistym, potrzebnych do podejmowania strategicznych decyzji. Opóźnienia w udostępnianiu i przetwarzaniu danych skutkowały niewykorzystanymi szansami i spóźnionymi reakcjami na potrzeby rynku, ponieważ trendy rynkowe i preferencje konsumentów szybko ewoluowały.

Klient poszukiwał kompleksowego rozwiązania w celu ujednolicenia różnych źródeł danych w spójny system i zapewnienia skalowalności w celu dostosowania do przyszłych ekspansji biznesowych.

Wdrożenie

Potok danych Apache do integracji różnych źródeł danych w jeden spójny system

Innowise ofreció un enfoque transformador centrado en la integración de Apache Kafka para abordar los retos del cliente. En pocas palabras, convertimos los flujos de información existentes del cliente en flujos de datos Kafka para garantizar un flujo de datos ininterrumpido, análisis en tiempo real y visualizaciones completas.

Konektor Kafka dla źródła danych codebeamer

Naszym początkowym zadaniem było stworzenie architektury umożliwiającej pobieranie informacji ze źródeł danych i przesyłanie ich do Apache Kafka. Najpierw zbudowaliśmy konektor dla Codebeamer, kompleksowej platformy zarządzania projektami, której klient używał do tworzenia oprogramowania i współpracy. Wybraliśmy Apache Kafka ze względu na jego wyjątkową zdolność do obsługi strumieni danych na dużą skalę, o wysokiej przepustowości i w czasie rzeczywistym, w sposób odporny na błędy, skalowalny i rozproszony.

Inicialmente, los especialistas de Innowise analizaron exhaustivamente la documentación de la API de Codebeamer para identificar los métodos más eficientes para extraer datos del proyecto, incluyendo elementos de trabajo, conjuntos de cambios y actividades del usuario. También examinamos el mecanismo de autenticación, los límites de solicitud de datos y los formatos de retorno de la API.

Basándonos en el análisis de la API, diseñamos la arquitectura del conector centrándonos en la modularidad, la escalabilidad y la tolerancia a fallos. Nuestros ingenieros de software utilizaron Java para codificar el conector, que se encargaba de enlazar con la API de Codebeamer, obtener datos y escribirlos en un tema de Kafka. Implementamos un convertidor para transformar los datos del formato de Codebeamer a un formato compatible con Kafka. Esto incluía la asignación de varios campos de datos a pares clave-valor de Kafka y la gestión de variaciones de esquema. Por último, nuestro equipo de proyecto gestionó una configuración robusta, permitiendo a los usuarios especificar dinámicamente las credenciales de la API, los intervalos de sondeo y los temas de Kafka de destino.

En la primera etapa, el conector sondea la API de Codebeamer para obtener datos nuevos y actualizados a intervalos configurables. A continuación, transformaba los datos en un formato compatible con Kafka, garantizando que cada pieza de información se representara como un evento discreto. Utilizamos las capacidades de procesamiento por lotes para gestionar de forma eficiente grandes volúmenes de datos sin sobrecargar la API de Codebeamer o el clúster de Kafka.

Konektor Kafka Źródło danych FTP

Opracowaliśmy również niestandardowy konektor Kafka dla źródła danych FTP, krytycznego komponentu do konsolidacji różnych plików i formatów, w tym JSON, XML i CSV. Konektor łączył się z serwerem FTP i skutecznie monitorował nowe i zaktualizowane pliki, wyodrębniając je i przenosząc do ekosystemu Kafka.

Wdrożyliśmy solidny mechanizm monitorowania plików w celu wykrywania dodawania nowych plików lub modyfikacji istniejących plików. Włączyliśmy inteligentną logikę parsowania, która mogła automatycznie rozpoznawać i poprawnie przetwarzać każdy typ pliku w celu obsługi różnorodnych formatów plików (JSON, XML, CSV). Miało to kluczowe znaczenie dla przekształcania ustrukturyzowanych i częściowo ustrukturyzowanych danych w tych plikach w jednolity format odpowiedni do przesyłania strumieniowego przez Kafkę.

Tecnología

Back-end

Maszyna wirtualna Java 17, Kotlin, Spring

CI/CD

CI/CD in situ

Proceso

Nuestro equipo de proyecto siguió un curso de proyecto bien estructurado, con entregables al final de cada etapa para garantizar la alineación con los objetivos del cliente. Nuestro enfoque se basó en el marco Scrum, lo que facilitó la flexibilidad, la mejora continua y una sólida participación del cliente a lo largo de todo el proyecto.

Początkowo nasi analitycy biznesowi przeprowadzili warsztaty z klientem, aby zrozumieć jego krajobraz danych, zidentyfikować kluczowe źródła danych i zdefiniować zakres integracji Kafka. Na podstawie tych informacji opracowali kompleksowy plan projektu i listę wymagań dla konektorów Kafka.

Po zebraniu wymagań nasi programiści zaprojektowali architekturę dla konektorów Kafka. Po kolei, Inżynierowie QA przeprowadziła szeroko zakrojone kontrole, w tym testy jednostkowe, integracyjne i wydajnościowe, aby zapewnić niezawodność i wydajność złączy.

Na koniec wdrożyliśmy konektory w środowisku klienta, zapewniając sesje szkoleniowe dla zespołu klienta w zakresie zarządzania i korzystania z nowych rozwiązań do strumieniowego przesyłania danych.

Podczas całego projektu komunikacja z klientem była najwyższym priorytetem. Wykorzystaliśmy Slack do codziennej komunikacji i Zoom do cotygodniowych odpraw i przeglądów sprintów. Śledzenie zadań i zarządzanie projektami odbywało się za pośrednictwem Jira, co zapewniało przejrzysty wgląd w postępy projektu i odpowiedzialność wszystkich członków zespołu.

Obecnie nasz zespół projektowy wprowadza drobne poprawki w razie potrzeby. Poza tym, klient planuje zwrócić się do nas z prośbą o realizację większej liczby projektów streamingu danych w przyszłości.

Zespół

Właściciel produktu

Architekt rozwiązań

Kierownik techniczny

Programistów back-end

Wyniki

44% Zwiększenie dostępności danych po wdrożeniu potoku danych z Apache Kafka

Innowise opracowało system konektorów, który agreguje informacje ze źródeł danych klienta i przekształca je w strumienie danych Apache Kafka. Integrując różne źródła danych w ujednolicony, strumieniowy potok danych Apache w czasie rzeczywistym, rozwiązaliśmy podstawowe wyzwania związane z fragmentacją danych, skalowalnością i integracją. Producent z branży motoryzacyjnej korzysta teraz z ograniczonego silosu danych, świadomego podejmowania decyzji i przejrzystych analiz, które sprzyjają rozwojowi biznesu.

Nasze rozwiązanie do strumieniowego przesyłania danych oparte na Kafce jest skalowalne, dzięki czemu klient może szybko się rozwijać i dodawać nowe źródła danych bez uszczerbku dla wydajności.

Czas trwania projektu

Listopad 2022 r. - w toku

36%

zwiększenie dokładności podejmowania decyzji

44%

zwiększenie dostępności danych

Proyectos en curso

¡Skontaktuj się z nami!

Zadzwoń lub wypełnij poniższy formularz, a my skontaktujemy się z Tobą po przetworzeniu Twojego zgłoszenia.

Co będzie dalej?

Po otrzymaniu i przetworzeniu Twojego zgłoszenia skontaktujemy się z Tobą wkrótce, aby wyszczególnić potrzeby projektu i podpisać umowę o zachowaniu poufności, aby zapewnić poufność informacji.

Po przeanalizowaniu wymagań, nasi analitycy i programiści opracowują projekt z zakresem prac, wielkością zespołu, czasem i kosztami szacunki.

Umówimy się z Tobą na spotkanie, aby omówić ofertę i dojść do porozumienia porozumienia.

Podpisujemy umowę i rozpoczynamy pracę nad projektem tak szybko, jak to możliwe.