Aké sú vlastnosti učenia segmentácie na obrázkoch s vysokým rozlíšením?

Tréning segmentácie na vysokorozlíšených obrázkoch má niekoľko špecifikácií:

• Vysoké výpočtové náklady: veľké obrázky vyžadujú viac pamäte a času na spracovanie, čo môže vyžadovať výkonný hardvér alebo techniky znižovania veľkosti (napríklad pipeline s orezmi).

• Problémy so škálovateľnosťou: detaily na vysokej rozlíšenosti môžu byť malé, takže model musí byť schopný zohľadniť ako globálny kontext, tak aj lokálne vlastnosti.

• Použitie prístupov s delením: často sa obrázky rozdeľujú na menšie časti (patches), na ktorých sa model trénuje, a potom sa výsledky spájajú, aby sa zachovala detailnosť.

• Augmentácia dát: na zvýšenie odolnosti modelu sa používajú rôzne transformácie, pričom malé detaily môžu byť kritické.

• Vyváženie medzi presnosťou a rýchlosťou: niekedy je potrebné obetovať rozlíšenie alebo presnosť, aby bol čas tréningu a inferencie prijateľný.

• Architektúry modelov: často sa používajú špecializované siete, napríklad U-Net s mechanizmami pozornosti, ktoré dobre fungujú s detailmi na rôznych mierkach.

Príklad prístupu s delením na patchy:

1. Rozdeliť veľký obrázok na prekryvajúce sa patchy.
2. Trénovať model na týchto patch-och.
3. Počas inferencie kombinovať predpovede patch-ov do konečnej masky segmentácie.