Refining the visibility of diagnostic information in x-ray imaging via machine learning

Abstract

Machine learning, particularly deep learning, is a key driver of advancements in various research fields and industrial applications, including medical imaging. Its capability to abstract and manipulate complex data patterns holds signifi- cant potential, especially in X-ray image formation. In this process, acquired detector signals must be transformed into human-interpretable images to accu- rately depict the patient’s anatomy and identify potential pathologies. Despite their potential, integrating deep learning models into clinical practice entails distinct challenges. Reliability is essential, as corrupted information may result in incorrect diagnoses. Moreover, traditional image quality metrics often fail to adequately quantify a model’s impact on diagnostic accuracy, necessitating more advanced evaluation techniques. Furthermore, the carcinogenic nature of ionizing radiation ethically precludes obtaining X-ray images solely for training purposes. In combination with strict privacy requirements for patient data, this limits the availability of comprehensive datasets. Recognizing both the poten- tial and challenges of integrating deep learning into clinical practice, this work explores how to leverage its capabilities to optimize the conversion of recorded X-ray detector signals into human-readable X-ray images, thereby refining the visibility of diagnostic information. Moreover, by addressing the aforementioned challenges, it aims to facilitate the implementation of the proposed methods in clinical settings. Specifically, this work focuses on the investigation of the following key aspects in X-ray image processing: the removal and supression of artifacts in the X-ray detector signal, namely collimation shadows and noise, and the quantification and adjustment of differences in X-ray image impressions. Noise in X-ray images is inversely proportional to the radiation dose and can ob- scure diagnostic information. Consequently, X-ray acquisitions must balance the trade-off between ionizing radiation dose and image quality. To further reduce patient radiation exposure, collimation is employed to exclude non-essential regions. However, shadows from the collimator can decrease the space available for visualizing crucial anatomy and often interfere with subsequent processing steps. Thus, this work proposes deep learning-based methods for denoising and collimator shadow segmentation in X-ray images. To overcome data scarcity and enable supervised training, we propose a physics-based simulation framework to generate matching training pairs. This framework allows for the alteration of the initial acquisition parameters of X-ray images, such as radiation dose, scatter, and collimator shadow patterns. This work demonstrates that models for collimator segmentation and denoising, trained on the simulation framework, generalize well to real-world data. Moreover, to enhance the generalization of the colli- mation segmentation in clinical practice, this works incorporate the geometric constraint of straight edges into the network architecture, via a differentiable Hough Transform. Additionally, to enable denoising in clinical practice, it must be ensured that tiny details are not mistaken for noise and removed. For this reason, this work proposes a novel loss function that regularizes the network to prevent overestimation of noise, thus minimizing information loss. Moreover, a differentiated evaluation across different patient types to investigate potential bi- ases in the model’s performance is conducted. The combination of a specifically designed loss function and thorough evaluation contributes to the application of the proposed method in clinical settings. After collimation removal and noise supression, the recored X-ray signal must be compressed into a visible range. Due to the ambiguity caused by overlapping tis- sues in X-ray images, there is no single optimal solution to this task. Consequently, various X-ray image impressions, also referred to as styles, have emerged to which radiologists have become accustomed due to their experience. Additionally, due to the lack of objective quantification of differences between X-ray image styles from different acquisitions and the absence of reliable, automatically adjustable X-ray image processing algorithms, the styles must be manually adjusted to cater to individual radiologists’ needs. Morevoer, the automatic adjustment of X-ray image styles requires special sensitivity to preserving diagnostic information, as converting the recorded X-ray detector signal into a visible image significantly alters the signal. To address these challenges, this work proposes a novel, auto- matic, reliable, and interpretable algorithm based on the Local Laplacian Filter (LLF) to generate and adjust X-ray image styles. This algorithm converts recorded X-ray detector signals into human-readable X-ray images, allowing for the au- tomatic adjustment of parameters through Stochastic Gradient Descent (SGD) to accommodate the adaptation to different X-ray image styles. Due to the in- herent properties of the LLF, the optimized algorithm can be verified to ensure that no diagnostic information is lost. Furthermore, due to the lower number of parameters compared to traditional deep learning models, the algorithm can be optimized on small datasets. To address the absence of objective quantification of differences between X-ray image styles from different acquisitions, we propose a novel deep learning-based metric. This metric uses an encoder trained through Simple Siamese learning to generate X-ray image style representations without requiring labeled style distances. The encoder produces style representations independent of the anatomical structures in the X-ray images. Experiments using t-SNE analysis illustrate that the distances between these style representations correlate with the degree of style difference. Consequently, the encoder, in com- bination with a distance measurement between the style representations, can quantify style differences between X-ray images from different acquisitions. The proposed methods aim to refine the visibility of diagnostic information in X-ray images by addressing the challenges of data scarcity, model reliability, and the quantification of differences in X-ray image styles. By leveraging deep learning capabilities, this work aims to facilitate the integration of advanced image processing methods into clinical practice, thereby improving diagnostic accuracy and patient care.

Maschinelles Lernen, insbesondere deep learning (DL), treibt Fortschritte in verschiedenen Forschungsbereichen und industriellen Anwendungen, ein- schließlich der medizinischen Bildgebung, voran. Die Fähigkeit, komplexe Datenmuster zu abstrahieren und zu manipulieren, birgt erhebliches Potenzial, insbesondere bei der Röntgenbilderstellung. In diesem Prozess müssen erfasste Detektorsignale in für Menschen interpretierbare Bilder umgewandelt werden, um die Anatomie des Patienten genau darzustellen und mögliche Pathologien zu identifizieren. Trotz ihres Potenzials bringt die Integration von DL-Modellen in die klinische Praxis spezifische Herausforderungen mit sich. Zuverlässigkeit ist von entscheidender Bedeutung, da fehlerhafte Informationen zu falschen Diagnosen führen können. Darüber hinaus versagen traditionelle Metriken für die Bildqualität oft darin, den Einfluss eines Modells auf die diagnostische Genauigkeit angemessen zu quantifizieren, was fortschrittlichere Bewertung- stechniken erforderlich macht. Zudem schließt die krebserzeugende Natur ionisierender Strahlung ethisch aus, Röntgenbilder ausschließlich zu Train- ingszwecken zu erhalten. In Kombination mit strengen Datenschutzanforderun- gen für Patientendaten schränkt dies die Verfügbarkeit umfassender Datensätze ein. In Anbetracht des Potenzials und der Herausforderungen bei der Integration von DL in die klinische Praxis untersucht diese Arbeit, wie dessen Fähigkeiten genutzt werden können, um die Umwandlung von aufgezeichneten Röntgende- tektorsignalen in menschenlesbare Röntgenbilder zu optimieren und dadurch die Sichtbarkeit diagnostischer Informationen zu verfeinern. Darüber hinaus zielt sie, durch die Überwindung der oben genannten Herausforderungen, darauf ab, die Umsetzung der vorgeschlagenen Methoden in klinischen Umgebungen zu ermöglichen. Insbesondere konzentriert sich diese Arbeit auf die Untersuchung der folgenden Schlüsselaspekte bei der Verarbeitung von Röntgenbildern: die Entfernung und Unterdrückung von Artefakten im Röntgendetektorsignal, ins- besondere Kollimationsschatten und Rauschen, sowie die Quantifizierung und Anpassung von Unterschieden im Eindruck von Röntgenbildern. Rauschen in Röntgenbildern ist umgekehrt proportional zur Strahlendosis und kann diagnostische Informationen verdecken. Folglich müssen Röntgenaufnah- men den Kompromiss zwischen ionisierender Strahlendosis und Bildqualität aus- balancieren. Um die Strahlenexposition des Patienten weiter zu reduzieren, wird die Kollimation auf die Interessensregion angewendet. Allerdings können Schat- ten vom Kollimator den verfügbaren Raum zur Visualisierung entscheidender Anatomien verringern und oft nachfolgende Verarbeitungsschritte stören. Daher schlägt diese Arbeit auf Deep Learning basierende Methoden zur Entrauschung und zur Segmentierung von Kollimatorschatten in Röntgenbildern vor. Um Datenknappheit zu überwinden und überwachte Trainingsmöglichkeiten zu schaffen, schlagen wir ein physikbasiertes Simulationsframework zur Gener- ierung passender Trainingspaare vor. Dieses Framework ermöglicht die Änderung der ursprünglichen Aufnahmeparameter von Röntgenbildern, wie Strahlendosis, Streustrahlung und Kollimatorschattenmuster. Diese Arbeit zeigt, dass Modelle zur Kollimatorsegmentierung und Entrauschung, die auf dem Simulationsframe- work trainiert wurden, sich gut auf reale Daten übertragen lassen. Darüber hinaus wird zur Verbesserung der Generalisierung der Kollimationssegmentierung in der klinischen Praxis die geometrische Einschränkung der geraden Kanten über eine differenzierbare Hough-Transformation in die Netzwerkarchitektur integriert. Zusätzlich muss zur Ermöglichung der Entrauschung in der klinischen Praxis sichergestellt werden, dass winzige Details nicht fälschlicherweise als Rauschen erkannt und entfernt werden. Aus diesem Grund wird in dieser Arbeit eine neuartige Verlustfunktion vorgeschlagen, die das Netzwerk reguliert, um eine Überschätzung des Rauschens zu verhindern und somit den Informationsverlust zu minimieren. Zudem wird eine differenzierte Bewertung über verschiedene Patiententypen hinweg durchgeführt, um potenzielle Verzerrungen in der Leis- tungsfähigkeit des Modells zu untersuchen. Die Kombination aus einer speziell entwickelten Verlustfunktion und gründlicher Bewertung trägt zur Anwendung der vorgeschlagenen Methode in klinischen Umgebungen bei. Nach der Entfernung von Kollimation und Rauschunterdrückung muss das aufgezeichnete Röntgensignal in einen sichtbaren Bereich komprimiert werden. Aufgrund der Uneindeutigkeit, die durch sich überlappende Gewebestrukturen in Röntgenbildern entsteht, existiert keine einzige optimale Lösung für dieses Problem. Daher haben sich verschiedene Röntgenbilddarstellungen, auch als Stile bezeichnet, entwickelt, an die sich Radiologen aufgrund ihrer Erfahrung gewöhnt haben. Zudem erfordert der Mangel an objektiver Quantifizierung von Unterschieden zwischen Röntgenbildstilen aus verschiedenen Aufnahmen und das Fehlen zuverlässiger, automatisch anpassbarer Röntgenbildverarbeitungsal- gorithmen eine manuelle Anpassung der Stile an die individuellen Bedürfnisse der Radiologen. Weiterhin erfordert die automatisierte Anpassung von Röntgen- bildstilen besondere Sensibilität zur Erhaltung diagnostischer Informationen, da die Umwandlung des aufgezeichneten Signals des Röntgendetektors in ein sichtbares Bild das Signal erheblich verändert. Zur Bewältigung dieser Herausforderungen wird in dieser Arbeit ein neuartiger, automatisierter, zuverlässiger und interpretierbarer Algorithmus vorgestellt, der auf dem LLF basiert, um Röntgenbildstile zu erzeugen und anzupassen. Dieser Algorithmus transformiert aufgezeichnete Röntgendetektorsignale in sichtbar darstellbare Röntgenbilder und erlaubt die automatische Anpassung von Pa- rametern mithilfe von SGD, um sich flexibel verschiedenen Röntgenbildstilen anzupassen. Dank der inhärenten Eigenschaften des LLF kann der optimierte Algorithmus überprüft werden, um die vollständige Erhaltung diagnostischer Informationen zu gewährleisten. Des Weiteren ermöglicht die geringere An- zahl von Parametern im Vergleich zu traditionellen Deep-Learning-Modellen eine Optimierung des Algorithmus auf kleinen Datensätzen. Um den Mangel an objektiver Quantifizierung von Unterschieden zwischen Röntgenbildstilen aus verschiedenen Aufnahmen zu überwinden, wird in dieser Arbeit eine inno- vative, Deep-Learning-basierte Metrik eingeführt. Dieser Ansatz nutzt einen Encoder, der durch Simple-Siamese-Lernen trainiert wird, um Röntgenbildstil- Repräsentationen ohne die Notwendigkeit gelabelter Stilabstände zu generieren. Der Encoder erstellt Stilrepräsentationen, die unabhängig von den anatomis- chen Strukturen in den Röntgenbildern sind. Experimente mittels t-SNE-Analyse zeigen, dass die Distanzen zwischen diesen Stilrepräsentationen mit dem Stilun- terschied korrelieren. Folglich kann der Encoder in Kombination mit einer Dis- tanzmessung zwischen den Stilrepräsentationen die Unterschiede der Stile zwis- chen Röntgenbildern aus verschiedenen Aufnahmen quantifizieren. Die vorgeschlagenen Methoden verbessern die Sichtbarkeit diagnostischer Infor- mationen in Röntgenbildern, indem sie die Herausforderungen der Datenknap- pheit, Modellzuverlässigkeit und der Quantifizierung von Unterschieden in Röntgenbilddarstellungen adressieren. Durch den Einsatz von Deep-Learning- Techniken zielt diese Arbeit darauf ab, die Integration fortschrittlicher Bild- verarbeitungsmethoden in die klinische Praxis zu erleichtern, um sowohl die diagnostische Genauigkeit als auch die Patientenversorgung zu verbessern.