Automatyzacja DevOps dla systemu zarządzania laboratorium: redukcja kosztów obliczeniowych o ponad 70%

Zespół Innowise zoptymalizował infrastrukturę chmury i zautomatyzował procesy CI/CD dla lidera rynku testów DNA, zwiększając skalowalność i wydajność operacji przetwarzania danych.

Klient

Branża

Opieka zdrowotna

Region

USA

Klient od

2023

Nasz klient jest liderem w dziedzinie biotechnologii, specjalizującym się w testach DNA i analizie mikrobiomu. Firma znana jest z dostarczania szybkich i wiarygodnych analiz przy użyciu zaawansowanych technik molekularnych, zaspokajając szerokie spektrum zastosowań w zakresie zdrowia ludzkiego, rolnictwa i badań środowiskowych. Ich usługi obejmują zarówno projektowanie badań, jak i kompleksową analizę danych, przyczyniając się do badań i rozwoju w branży opieki zdrowotnej.

Szczegółowe informacje o kliencie nie mogą zostać ujawnione zgodnie z warunkami umowy NDA.

Wyzwanie

Problemy z aktualizacjami infrastruktury, migracją do GitHub i optymalizacją CI/CD

Nasza współpraca z klientem, rozpoczęta w 2023 roku, koncentrowała się przede wszystkim na sprostaniu złożonym wyzwaniom DevOps. Klient stanął w obliczu wieloaspektowego zestawu problemów, z których każdy był istotny dla jego wydajności operacyjnej w badaniach mikrobiomów:

Rozbudowa infrastruktury i migracja: Klient rozszerzał swoje środowiska AWS z unowocześnioną architekturą. Ta ekspansja pociągnęła za sobą migrację kilku starszych środowisk do nowych systemów.
Zarządzanie starszą infrastrukturą: Kolejnym aspektem wyzwania było zarządzanie starszym kodem Terraform i zasobami klastra Kubernetes. Istniejąca konfiguracja była uciążliwa i przestarzała, wymagając znacznego przeglądu, aby sprostać obecnym i przyszłym wymaganiom.
Wyczerpanie puli adresów IP: Krytycznym problemem było wyczerpywanie się adresów IP spowodowane nieefektywnym podsieciowaniem sieci. Utrudniało to bieżące zarządzanie siecią i stanowiło poważne zagrożenie dla przyszłych planów ekspansji.
Migracja z GitLab do GitHub: Klient chciał również przejść z GitLab na GitHub, co obejmowało integrację GitHub Codespaces. Ruch ten miał na celu ułatwienie zdalnego rozwoju i uniknięcie konieczności przechowywania kodu na lokalnych komputerach, zwiększając bezpieczeństwo i współpracę.

Optymalizacja procesów CI/CD: Pojawiła się pilna potrzeba optymalizacji procesów ciągłej integracji i ciągłego wdrażania (CI/CD). Usprawnienie tych procesów było niezbędne do zwiększenia szybkości i niezawodności wdrożeń.
Wdrożenie strategii Blue/Green Deployment: Wreszcie, klient starał się wdrożyć strategię wdrażania Blue/Green. Podejście to miało na celu zminimalizowanie ryzyka związanego z wdrożeniem i zapewnienie płynnego wdrażania nowych funkcji i aktualizacji.

Klient oczekiwał, że nasz zespół zajmie się tymi wyzwaniami i zwiększy wydajność operacyjną, obniży koszty i przyspieszy proces rozwoju. Jako że firma specjalizowała się w badaniach nad mikrobiomem i miała ogromne potrzeby w zakresie przetwarzania danych, ulepszenia w zakresie praktyk DevOps były niezbędne do zwiększenia jej zdolności do szybkiego dostarczania usług.

Wdrożenie

Automatyzacja DevOps dla LMS

Nasze rozwiązanie dla klienta koncentrowało się na trzech głównych obszarach: optymalizacji infrastruktury, automatyzacji DevOps i usprawnieniu procesów CI/CD.

Optymalizacja infrastruktury

We started our collaboration by overhauling the client’s infrastructure. Our team opted for a serverless architecture using AWS services. This approach was critical for handling the vast amounts of data processed in microbiome analysis.

Środowisko AWS i migracja starszych rozwiązań: We expanded the AWS environments, incorporating new architectures that supported the client’s growth and diversified needs. Starsze systemy zostały płynnie przeniesione do nowych środowisk bez zakłócania bieżących operacji.
Zarządzanie siecią i przydzielanie adresów IP: Wyzwanie związane z wyczerpującymi się adresami IP zostało rozwiązane poprzez wdrożenie strategicznego podejścia do podsieci. Rozwiązało to natychmiastową kwestię niedoboru adresów i usprawniło przyszłą rozbudowę sieci.
Refaktoryzacja IaC za pomocą Terraform i Terraspace: Nasz zespół zrestrukturyzował konfigurację Infrastructure as Code (IaC), migrując ze starszej platformy Terraform do Terraspace. To posunięcie zwiększyło możliwości zarządzania i skalowalność kodu infrastruktury, umożliwiając zarządzanie wieloma kontami.

Automatyzacja DevOps

Praktyki związane z operacjami rozwojowymi były sercem naszego rozwiązania, mającego na celu usprawnienie automatyzacji infrastruktury DevOps i uproszczenie procesów.

Wdrożenie Karpenter: Wprowadzenie Karpenter stanowiło kamień milowy w optymalizacji zasobów. Narzędzie to zmniejszyło liczbę niezbędnych maszyn i obniżyło koszty obliczeniowe o 70%.
Integracja z Argo Project Tools: Wykorzystaliśmy ArgoCD, Argo Rollouts i ArgoCD Image Updater do automatyzacji procesów wdrażania. Ta konfiguracja uwolniła programistów od ręcznego zarządzania potokiem, pozwalając im skupić się na podstawowych zadaniach programistycznych.
Model wdrożenia Blue-Green-Canary: Nasza strategia wdrożeniowa połączyła mocne strony modeli Blue/Green i Canary. To hybrydowe podejście przyspieszyło cykle rozwoju i zminimalizowało ryzyko związane z wdrożeniem, oznaczając znaczący postęp w możliwościach operacyjnych klienta.

Usprawnienie procesu CI/CD

Ostatni filar naszych usług automatyzacji DevOps koncentrował się na udoskonaleniu procesów CI/CD. Obejmowało to szereg strategicznych wdrożeń mających na celu zwiększenie wydajności.

Migracja do GitHub i integracja z Codespaces: We facilitated the client’s transition from GitLab to GitHub, setting up GitHub Codespaces for more secure and efficient code management. This shift enhanced code security and streamlined development workflows.
Refaktoryzacja i automatyzacja potoków: We restructured CI/CD pipelines to separate the continuous deployment from integration. This segmentation improved the deployment process’ efficiency and reduced potential errors.
Monitorowanie i optymalizacja kosztów: Wdrożenie Grafana Stack i Prometheus pozwoliło nam stworzyć kompleksowy system monitorowania. System ten pomógł w śledzeniu kosztów AWS i optymalizacji wykorzystania zasobów w celu zapewnienia opłacalnych operacji.

Technologie

Back-end

Python; FastAPI

Front-end

React; Node.js; Material UI

Bazy danych

PostgreSQL

Platformy

Web

Usługi i platformy Cloud

AWS; Funkcje Lambda; EKS; ECR

Konteneryzacja i zarządzanie

Docker; Kubernetes

Infrastruktura jako kod (IaC)

Helm; Terraform; Terraspace

Ciągła integracja i wdrażanie

ArgoCD; Argo Rollouts; ArgoCD Image Updater; GitLab; GitHub; Karpenter; Kubecost

Monitorowanie i rejestrowanie

Grafana; Grafana Loki; Promtail; Prometheus

Zarządzanie siecią

Wtyczka Kubernetes CNI

Monitorowanie serwera

Prometheus

Zapewnienie jakości

Dramaturg

Systemy operacyjne

Linux; amd64; arm64

Systemy kontroli wersji

GitHub; ArgoCD

Integracje

SSO w usłudze Microsoft AD

Proces

Nasz proces opierał się na metodologii Agile z frameworkiem Scrum, który kładł nacisk na elastyczność, ciągłe doskonalenie i szybką dostawę. Naszą pracę podzieliliśmy na jednotygodniowe sprinty, z codziennymi spotkaniami stand-up o godzinie 18:00 CET, aby zapewnić zgodność i rozwiązać wszelkie bezpośrednie obawy. W każdy piątek odbywały się sesje planowania sprintów, podczas których zespół wspólnie analizował i planował zadania na nadchodzący tydzień. Sesje te były połączone z retrospektywami i prezentacjami.

Zarządzanie zadaniami i komunikacja

Our developers had full ownership of the backlog, giving them the autonomy to manage and plan tasks. Direct communication with the Product Owner (PO) was infrequent, as the primary goals and requirements for tasks were set and often detailed by the project’s lead designer.

Rozwój i dokumentacja

Nasze podejście do implementacji zadań obejmowało opracowanie modeli Proof of Concept (POC) dla większości zadań, a następnie stworzenie szczegółowych diagramów zweryfikowanych przez zespół. Praktyka ta pozwoliła nam zweryfikować pomysły i zapewnić ich wykonalność przed opracowaniem na pełną skalę. Dokładnie prowadziliśmy dokumentację projektu, aby zapewnić płynną realizację naszych zadań.

Wyzwania związane z bezpieczeństwem Cloud i automatyzacją DevOps

A significant aspect of our project was managing and optimizing the client’s extensive laboratory data reports, which amounted to petabytes of data. This massive data size resulted in substantial AWS costs.

Przeglądy i adaptacja sprintów

Pod koniec każdego tygodnia przeprowadzaliśmy przeglądy sprintów, które obejmowały demonstracje nowych funkcji i dyskusje na temat nadchodzącego sprintu. Spotkania te były kluczowe dla dostosowania naszych strategii do zmieniających się wymagań.

Zespół

Inżynierowie DevOps

Programista front-end

Programista Full-Stack

Wyniki

70% redukcja kosztów obliczeniowych

Nasza współpraca z klientem doprowadziła do znacznej poprawy jego infrastruktury i procesów DevOps. Kluczowe osiągnięte wyniki są następujące:

Optymalizacja kosztów: Wdrożenie Karpenter z powodzeniem zmniejszyło liczbę maszyn używanych w klastrze z 15 do 6, co doprowadziło do zmniejszenia kosztów obliczeniowych o 70%. Ta znaczna oszczędność kosztów znacznie zwiększyła opłacalność ich operacji.
Przyspieszenie procesu rozwoju: Wprowadzenie modelu Blue-Green-Canary znacznie przyspieszyło proces rozwoju. To strategiczne wdrożenie przyspieszyło rozwój i dodało warstwę bezpieczeństwa do procesu wydawania.
Ulepszenia dzięki automatyzacji DevOps: Wykorzystanie narzędzi Argo Project znacznie usprawniło proces rozwoju. Zespół programistów klienta może teraz aktualizować klaster Kubernetes o nowe wersje aplikacji, po prostu przesyłając kod, a cały proces kompilacji i wdrażania jest zautomatyzowany. Znacznie ograniczyło to ręczną interwencję w rutynowe zadania, pozwalając inżynierom skupić się bardziej na strategicznych działaniach rozwojowych.
Uproszczenie zarządzania infrastrukturą: Migracja kodu Terraform do frameworka Terraspace, wraz z refaktoryzacją zarządzania klastrami Kubernetes, uprościła zarządzanie infrastrukturą. Zmiany te sprawiły, że zarządzanie infrastrukturą stało się prostsze i bardziej wydajne.
Lepsza obserwowalność: Integracja Grafana Stack i Prometheus dla dodatkowych metryk znacznie poprawiła obserwowalność systemu. Ulepszenie to zaowocowało lepszym monitorowaniem danych, ułatwiając podejmowanie bardziej świadomych decyzji i zarządzanie systemem.

Currently, we are in the final stages of setting up the AWS environments, ensuring they are tailored to meet the client’s requirements. Looking ahead, there are plans to further improve the release model, building upon the successful implementation of the Blue-Green-Canary strategy.

Czas trwania projektu

Lipiec 2022 r. - w trakcie realizacji

70%

redukcja kosztów obliczeniowych

zwiększenie prędkości rozwoju

50%

zmniejszenie liczby interwencji ręcznych

Podobne projekty

Skontaktuj się z nami!

Zadzwoń lub wypełnij poniższy formularz, a my skontaktujemy się z Tobą po przetworzeniu Twojego zgłoszenia.

Co będzie dalej?

Po otrzymaniu i przetworzeniu Twojego zgłoszenia skontaktujemy się z Tobą wkrótce, aby wyszczególnić potrzeby projektu i podpisać umowę o zachowaniu poufności, aby zapewnić poufność informacji.

Po przeanalizowaniu wymagań, nasi analitycy i programiści opracowują projekt z zakresem prac, wielkością zespołu, czasem i kosztami szacunki.

Umówimy się z Tobą na spotkanie, aby omówić ofertę i dojść do porozumienia porozumienia.

Podpisujemy umowę i rozpoczynamy pracę nad projektem tak szybko, jak to możliwe.