Welche Merkmale hat das Lernen der Segmentierung in hochauflösenden Bildern?

Das Training für die Segmentierung hochauflösender Bilder weist mehrere Besonderheiten auf:

• Hohe Rechenkosten: Große Bilder erfordern mehr Speicher und Zeit für die Verarbeitung, was den Einsatz leistungsstarker Hardware oder Techniken zur Größenreduzierung (z.B. Pipelines mit Crops) notwendig machen kann.

• Skalierungsprobleme: Details in hoher Auflösung können klein sein, daher muss das Modell sowohl den globalen Kontext als auch lokale Merkmale berücksichtigen können.

• Verwendung von Partitionierungsansätzen: Bilder werden oft in kleinere Abschnitte (Patches) unterteilt, das Modell wird auf diesen trainiert, und die Ergebnisse werden anschließend zusammengeführt, um die Detailgenauigkeit zu bewahren.

• Datenaugmentation: Um die Robustheit des Modells zu erhöhen, werden verschiedene Transformationen angewandt, wobei kleine Details kritisch sein können.

• Balance zwischen Genauigkeit und Geschwindigkeit: manchmal muss die Auflösung oder Genauigkeit geopfert werden, um eine akzeptable Trainings- und Inferenzzeit zu erreichen.

• Modelarchitekturen: Es werden oft spezialisierte Netzwerke wie U-Net mit Aufmerksamkeit-Mechanismen verwendet, die gut mit Details in verschiedenen Maßstäben arbeiten.

Beispiel für einen Ansatz mit Patch-Partitionierung:

1. Große Bilder in überlappende Patches aufteilen.
2. Das Modell auf diesen Patches trainieren.
3. Bei der Inferenz die Patch-Vorhersagen zu einer finalen Segmentierungsmasken zusammenfügen.