Platforma internetowa do rekonstrukcji części ciała 3D

Firma Innowise opracowała rewolucyjne narzędzie do automatycznej rekonstrukcji 3D kości, skóry i innych narządów na podstawie zdjęć rentgenowskich i tomografii komputerowej w oparciu o algorytmy ML.

Klient

Branża

Opieka zdrowotna, IoT

Region

Klient od

2021

Nasz klient to firma produkująca sprzęt medyczny, wytwarzająca zaawansowane technologicznie urządzenia i oprogramowanie wspomagające pracę klinicystów.

Szczegółowe informacje o kliencie nie mogą być ujawnione zgodnie z postanowieniami NDA.

Wyzwanie

Wraz z rozwojem branży opieki zdrowotnej stale pojawiają się nowe, przełomowe technologie. Ponieważ chirurgia wymaga kompetencji i dokładności, lekarze potrzebują precyzyjnego sprzętu medycznego, który łagodzi ludzkie błędy i zapobiega nieprzewidzianym okolicznościom.

Nasz klient potrzebował oprogramowania do modelowania ciała w 3D, zdolnego do odtwarzania kości, skóry i innych narządów na podstawie zdjęć rentgenowskich i tomografii komputerowej. Przekształcając płaskie skany w trójwymiarowe modele wolumetryczne, lekarze mogliby poprawić widoczność podczas leczenia pacjentów i uzyskać lepszy wgląd w choroby i nieprawidłowości. Studenci i stażyści mogliby również wykorzystywać te trójwymiarowe modele medyczne do ćwiczenia diagnostyki i zabiegów chirurgicznych przed ich wykonaniem.

Wdrożenie

Naszym głównym zadaniem było organiczne zintegrowanie platformy konstrukcyjnej 3D z ekosystemem klienta i zapewnienie jej kompatybilności ze zdjęciami rentgenowskimi i skanami CT eksportowanymi z radiologii, kardiologii i innych laboratoriów, tak aby można było uzyskać do nich dostęp na szpitalnych stacjach roboczych i osobistych laptopach.

Zgodność z DICOM

Wcześniej upewniliśmy się, że nasza platforma internetowa bezproblemowo współpracuje z plikami DICOM. Format obrazowania cyfrowego i komunikacji w medycynie (DICOM) jest powszechnym standardem wymiany informacji o obrazowaniu medycznym i powiązanych danych. Po tym kroku położyliśmy nacisk na dodatkowe zabezpieczenia, ponieważ pliki DICOM zawierają poufne informacje zdrowotne.

W rezultacie nasi dedykowani programiści stworzyli przestrzeń, w której przechowywane są wszystkie zaimportowane pliki DICOM z danymi o pacjentach, ich diagnozach, leczeniu, datach i wynikach badań.

Od zdjęć rentgenowskich i tomografii komputerowej po wizualizacje 3D

Chociaż technika bezkontrastowa jest dostępna do rekonstrukcji 3D, dożylne (IV) skany kontrastowe (bezbarwne płyny na bazie jodu) są zalecane do dokładniejszych wizualizacji 3D.

Po pobraniu zdjęcia rentgenowskiego lub tomografii komputerowej do systemu wystarczy kilka kliknięć, aby przekształcić czarno-białe obrazy w trójwymiarowe rekonstrukcje. Aby określić poziom szczegółowości 3D, klinicyści ręcznie ustawiają wartości progowe tłumienia. Podczas gdy platforma skanuje każdy przekrój CT linia po linii, rejestruje dokładne współrzędne każdego piksela, który wykazuje wartość tłumienia większą niż próg. Następnie te wybrane piksele reprezentują woksele, które zawierają fragmenty ciała gęstsze niż wybrany próg. W rezultacie po tych manipulacjach pojawiają się wolumetryczne rekonstrukcje 3D.
Po zakończeniu renderowania 3D klinicyści mogą zarządzać obiektami za pomocą wygodnego paska narzędzi z lupą do powiększania / pomniejszania, paska cieni gradientu do dodawania / usuwania skóry, tkanek, mięśni i struktur kostnych oraz nożyczek do odcinania nadmiaru części. Niemniej jednak głównym narzędziem jest sześcian, który pozwala praktykom obracać obraz wokół własnej osi i uzyskać dokładniejszy obraz patologii.

Inteligentny menedżer ROI

To highlight pathology, our team developed an advanced ROI (region of interest – the boundaries of a tumour) manager. Here, doctors highlight pathologies so that they are immediately recognizable in the 3D reconstructions after rendering. By placing dots on the tumours, clinicians measure the extent of lesions to make informative decisions on surgical operations. Furthermore, clinicians can rename and highlight pathological zones in different colours so they stand out from healthy areas. To make segmentation even more precise, our team set thresholds, pixel values, and preliminary previews to allow for more detailed 3D customization. This includes generating detailed reports with anatomical annotations and labels, as well as measuring distances between organs for more accurate surgical planning.

Once all processing stages have been completed, practitioners can export and share the 3D image, setting asses according to users’ roles.

Technologie i narzędzia

Back-end

Python, FastAPI, PyQt

Front-end

JavaScript, React

Bazy danych

MS SQL Server

ML, MLOps

Weights and Biases, MLFlow, PyTorch, OpenCV, TensorFlow, Keras, ONNXRuntime, PyDICOM, Albumentations

Cloud

AWS (S3, EC2, Lambda), AWS SageMaker (Studio, monitorowanie modelu, punkt końcowy wnioskowania)

Qase, Postman, Swagger, TestFlight, Arduino, Thonny

Proces

Mimo że projekt był ambitny i wymagający, nasi specjaliści byli w stanie zakończyć go sukcesem. Najpierw nasi specjaliści oszacowali zakres prac i ocenili główne kamienie milowe. Aby spełnić wymagania techniczne i biznesowe, wybraliśmy najlepiej dopasowany stos technologiczny w oparciu o naszą rozległą wiedzę.

Nasz dedykowany zespół wykorzystał Python do stworzenia oprogramowania do modelowania medycznego 3D i zapewnienia płynnej integracji z innymi firmami. Ponieważ kosztowny sprzęt po stronie klienta nie był racjonalny finansowo, w pełni wykorzystaliśmy możliwości AWS, aby rozwikłać architekturę oprogramowania w chmurze. Dzięki bramkom API opracowaliśmy również wersję desktopową, która działa tak samo jak platforma internetowa.

To make 3D reconstruction accurate and reliable, we used different ML tools and approaches for solving detection, classification, and segmentation tasks, as well as data labelling. Additionally, our project team employed ML capabilities and computer vision to increase the level of training models. To meet the customer’s requirements, Innowise took several concurrent approaches regarding native 3D and image slice processing. As a result, we presented an innovative 3D rendering tool with an ML-based automatic pipeline for retraining and putting models into production tailored to medical needs.

Nasz zespół pracował na podstawie zwinnej metodologii rozwoju Scrum z regularnymi spotkaniami zespołowymi i komunikacją przez Google Meet. Obecnie projekt jest w toku, a Innowise nieustannie pracuje nad dalszym rozwojem platformy i zapewnieniem integracji z zewnętrznymi aplikacjami i usługami medycznymi.

Zespół

Kierownik projektu

Inżynierowie ML

Programistów back-end

Programistów front-end

Projektant UI/UX

Inżynierowie QA

Wyniki

3D modelling in the medical industry provides amazing opportunities for reconstructing bones from computed tomography (CT) X-ray scans in a non-invasive manner. As a result, our top-tier 3D rendering platform enables professionals to precisely measure tumour areas and other pathologies, monitor organs over time, evaluate tissue composition, and accurately assess fractures without actually having to touch a patient. From now on, doctors accurately view the anatomy and diagnose various diseases that are invisible through traditional methods. Moreover, our solution allows for generating detailed reports with anatomical annotations and labels, as well as measuring distances between organs for more accurate surgical planning. With the help of our platform, surgeons can now plan their operations in a more precise and efficient manner.

Czas trwania projektu

Styczeń 2021 r. - w trakcie realizacji

Podobne projekty

Skontaktuj się z nami!

Zadzwoń lub wypełnij poniższy formularz, a my skontaktujemy się z Tobą po przetworzeniu Twojego zgłoszenia.

Nazwa

Firma

Telefon

Wiadomość Prosimy o podanie szczegółów projektu, czasu trwania, stosu technologicznego, potrzebnych specjalistów IT i innych istotnych informacji.

Nagraj wiadomość głosową na temat projekt, który pomoże nam lepiej go zrozumieć

W razie potrzeby dołącz dodatkowe dokumenty

Prześlij plik

Można załączyć maksymalnie 1 plik o łącznej wielkości 2 MB. Ważne pliki: pdf, jpg, jpeg, png

Informujemy, że po kliknięciu przycisku Wyślij Innowise będzie przetwarzać Twoje dane osobowe zgodnie z naszą Polityką prywatności w celu dostarczenia Ci odpowiednich informacji.

Co będzie dalej?

Po otrzymaniu i przetworzeniu Twojego zgłoszenia skontaktujemy się z Tobą wkrótce, aby wyszczególnić potrzeby projektu i podpisać umowę o zachowaniu poufności, aby zapewnić poufność informacji.

Po przeanalizowaniu wymagań, nasi analitycy i programiści opracowują projekt z zakresem prac, wielkością zespołu, czasem i kosztami szacunki.

Umówimy się z Tobą na spotkanie, aby omówić ofertę i dojść do porozumienia porozumienia.

Podpisujemy umowę i rozpoczynamy pracę nad projektem tak szybko, jak to możliwe.