Modeling the Deformation of Breast Tissue Using Machine Learning Approaches

by Yang Zeyu (杨泽宇)

Thursday Sep 1, 2022, 2:00 PM → 2:45 PM Europe/Berlin

https://kit-lecture.zoom.us/j/62701238218?pwd=OFp5VTE1R1FPT1VlWC9jR1V3TjFKQT09 (Zoom)

Lecture on the master thesis of Zeyu Yang (杨泽宇): "Modeling the Deformation of Breast Tissue Using Machine Learning Approaches"

 

Image registration between X-ray mammograms and and MRI volumes is a method to combine complementing breast image modalities for enhanced breast cancer diagnosis. One of the essential steps for an image registration process is to model the deformation of breast tissue structures during mammography. For this purpose, Finite Element Method (FEM) is used to create biomechanical models of breasts and simulate the mammographic compression in two steps: the gravity removal step and the compression simulation step. However, as FEM consumes a lot of time for the compression simulation of each breast, there is a need for acceleration. 

This thesis aims to develop a machine learning (ML) approach to replace FEM for faster breast compression simulations. This approach consists of four steps: data generation, feature extraction, data preprocessing, training and predicting. For training, the data from the FEM simulation should be used as the ground truth. Two prediction methods were proposed to replace the two steps in the FEM simulation: the first method is to train two ML models to predict separately for these two steps, and the second method is to train only one model to replace the two steps. Three ML models were examined: extremely randomized trees (ERT), extreme gradient boosting (XGBoost) model, and a long short-term memmory (LSTM) network. Experiments demonstrated that the first method provided more accurate predictions than the second method. To compare the two prediction methods, the XGBoost and LSTM models were trained on 100 breasts and tested on 10 breasts. The RMSE of the XGBoost model using the second method was 10.35mm, and the RMSE of the LSTM model was 7.41mm, both of which were 4mm larger than the RMSE using the first method, which was 4.87mm for XGBoost and 3.34mm for LSTM. Therefore, the first method should be applied for a more accurate prediction. The performance of the three models was the compared using 10-fold cross-validation on a large dataset of 518 breasts. As a result, the ERT model had the worst performance among the three models, with the largest RMSE of 3.94mm. The LSTM model had a lower RMSE of 2.32mm than the XGBoost model, which had a RMSE of 2.51mm. With the predicted results of 518 breasts from 10-fold cross-validation, we analyzed the correlation between prediction accuracy and five characteristics of the breast: compression ratio, number of elements in breast mesh, mesh quality, breast volume and tissue type. Breast compression prediction by ML models was much faster than FEM in terms of time-consuming. The prediction of each breast using the first method took about 10 seconds, 30 seconds, 10 minutes for XGBoost, LSTM, ERT, respectively, while FEM required more than 20 minutes for the simulation of each breast.

 

Lecture language: English

 

---

 

Vortrag zur Masterarbeit von Zeyu Yang (杨泽宇) zum Thema: Modellierung von Brustgewebeverformung durch Maschinelles Lernen

 

Die Bildregistrierung zwischen Röntgen-Mammogrammen und MRT-Volumina ist eine Methode zur Kombination sich ergänzender Brustbildmodalitäten für eine verbesserte Brustkrebsdiagnose. Einer der wichtigsten Schritte bei der Bildregistrierung ist die Modellierung der Verformung der Brustgewebestrukturen während der Mammographie. Zu diesem Zweck wird eine Finite-Elemente-Methode (FEM) verwendet, um biomechanische Modelle der Brüste zu erstellen und die mammografische Kompression in zwei Schritten zu simulieren: dem Schritt der Schwerkraftentfernung und dem Schritt der Kompressionssimulation. Da die FEM jedoch sehr viel Zeit für die Kompressionssimulation jeder einzelnen Brust benötigt, ist eine Beschleunigung erforderlich.

Ziel dieser Arbeit ist die Entwicklung eines maschinellen Lernansatzes (ML), um die FEM durch schnellere Brustkompressionssimulationen zu ersetzen. Dieser Ansatz besteht aus vier Schritten: Datengenerierung, Merkmalsextraktion, Datenvorverarbeitung, Training und Vorhersage. Für das Training werden die Daten aus der FEM-Simulation als Basisdaten verwendet. Es wurden zwei Vorhersagemethoden vorgeschlagen, um die beiden Schritte der FEM-Simulation zu ersetzen: Die erste Methode besteht darin, zwei ML-Modelle zu trainieren, um diese beiden Schritte getrennt vorherzusagen, und die zweite Methode besteht darin, nur ein Modell zu trainieren, um die beiden Schritte zu ersetzen. Es wurden drei ML-Modelle untersucht: ERT (Extreme Randomized Trees), XGBoost (Extreme Gradient Boosting) und ein LSTM-Netz (Long Short Memmory). Experimente zeigten, dass die erste Methode genauere Vorhersagen als die zweite Methode lieferte. Um die beiden Vorhersagemethoden zu vergleichen, wurden die XGBoost- und LSTM-Modelle an 100 Brüsten trainiert und an 10 Brüsten getestet. Der RMSE des XGBoost-Modells mit der zweiten Methode betrug 10,35 mm und der RMSE des LSTM-Modells 7,41 mm. Beide Werte waren 4 mm größer als der RMSE mit der ersten Methode, der 4,87 mm für XGBoost und 3,34 mm für LSTM betrug. Daher sollte die erste Methode für eine genauere Vorhersage verwendet werden. Die Leistung der drei Modelle wurde anhand einer 10-fachen Kreuzvalidierung mit einem großen Datensatz von 518 Brüsten verglichen. Das Ergebnis war, dass das ERT-Modell mit dem größten RMSE von 3,94 mm die schlechteste Leistung unter den drei Modellen aufwies. Das LSTM-Modell hatte einen niedrigeren RMSE von 2,32 mm als das XGBoost-Modell, das einen RMSE von 2,51 mm hatte. Anhand der Vorhersageergebnisse von 518 Brüsten aus der 10-fachen Kreuzvalidierung analysierten wir die Korrelation zwischen der Vorhersagegenauigkeit und fünf Merkmalen der Brust: Kompressionsverhältnis, Anzahl der Elemente im Brustnetz, Netzqualität, Brustvolumen und Gewebetyp. Die Vorhersage der Brustkompression durch ML-Modelle war hinsichtlich des Zeitaufwands wesentlich schneller als die FEM. Die Vorhersage jeder Brust mit der ersten Methode dauerte etwa 10 Sekunden, 30 Sekunden bzw. 10 Minuten für XGBoost, LSTM und ERT, während die FEM mehr als 20 Minuten für die Simulation jeder Brust benötigte.

 

Vortragssprache: Englisch