Köszönjük, hogy meglátogatta a Nature.com oldalt.Olyan böngészőverziót használ, amely korlátozott CSS-támogatással rendelkezik.A legjobb élmény érdekében javasoljuk, hogy használjon frissített böngészőt (vagy tiltsa le a kompatibilitási módot az Internet Explorerben).Ezenkívül a folyamatos támogatás érdekében stílusok és JavaScript nélkül jelenítjük meg az oldalt.
Diánként három cikket mutató csúszkák.Használja a vissza és a következő gombokat a diák közötti mozgáshoz, vagy a végén lévő diavezérlő gombokat az egyes diák közötti mozgáshoz.
Az optikai koherencia tomográfiás angiográfia (OCTA) egy új módszer a retina erek nem invazív vizualizálására.Bár az OCTA-nak számos ígéretes klinikai alkalmazása van, a képminőség meghatározása továbbra is kihívást jelent.Az ImageNet-tel előképzett ResNet152 neurális hálózati osztályozó segítségével mély tanuláson alapuló rendszert fejlesztettünk ki, amely 134 beteg 347 vizsgálatából származó felületes kapilláris plexus képeket osztályoz.A képeket két független értékelő manuálisan is igaznak értékelte egy felügyelt tanulási modellhez.Mivel a képminőségi követelmények a klinikai vagy kutatási beállításoktól függően változhatnak, két modellt képeztek ki, az egyiket a jó minőségű képfelismerésre, a másikat pedig az alacsony minőségű képfelismerésre.Neurális hálózati modellünk kiváló görbe alatti területet (AUC) mutat, 95% CI 0,96-0,99, \(\kappa\) = 0,81), ami szignifikánsan jobb, mint a gép által közölt jelszint (AUC = 0,82, 95). % CI).0,77–0,86, \(\kappa\) = 0,52 és AUC = 0,78, 95% CI 0,73–0,83, \(\kappa\) = 0,27).Tanulmányunk azt mutatja, hogy a gépi tanulási módszerekkel rugalmas és robusztus minőség-ellenőrzési módszereket lehet kifejleszteni OCTA-képekhez.
Az optikai koherencia tomográfiás angiográfia (OCTA) egy viszonylag új, optikai koherencia tomográfián (OCT) alapuló technika, amely a retina mikroérrendszerének non-invazív megjelenítésére használható.Az OCTA méri a retina ugyanazon területén ismétlődő fényimpulzusok reflexiós mintáinak különbségét, majd a rekonstrukciók kiszámíthatók, hogy felfedjék az ereket festékek vagy más kontrasztanyagok invazív használata nélkül.Az OCTA lehetővé teszi a mélységfelbontású vaszkuláris képalkotást is, lehetővé téve a klinikusok számára, hogy külön vizsgálják a felületes és a mély érrétegeket, segítve ezzel a chorioretinális betegség megkülönböztetését.
Bár ez a technika ígéretes, a képminőség változása továbbra is komoly kihívást jelent a megbízható képelemzés szempontjából, ami megnehezíti a képértelmezést és megakadályozza a széles körű klinikai alkalmazást.Mivel az OCTA több egymást követő OCT-vizsgálatot használ, érzékenyebb a képi műtermékekre, mint a szabványos OCT.A legtöbb kereskedelmi OCTA platform saját képminőségi mérőszámmal rendelkezik, amelyet Signal Strength (SS) vagy néha Signal Strength Index (SSI) néven neveznek.A magas SS- vagy SSI-értékkel rendelkező képek azonban nem garantálják a képi műtermékek hiányát, ami befolyásolhatja a későbbi képelemzéseket, és helytelen klinikai döntésekhez vezethet.Az OCTA-képalkotásban előforduló gyakori képi műtermékek közé tartoznak a mozgási műtermékek, a szegmentációs műtermékek, a média átlátszatlansági műtermékei és a vetítési műtermékek1,2,3.
Mivel az OCTA-ból származó méréseket, például az érsűrűséget egyre gyakrabban használják a transzlációs kutatásokban, a klinikai vizsgálatokban és a klinikai gyakorlatban, sürgős szükség van robusztus és megbízható képminőség-ellenőrzési eljárások kidolgozására a képi műtermékek kiküszöbölésére4.A kapcsolatok átugrása, más néven maradék kapcsolatok, olyan vetületek a neurális hálózati architektúrában, amelyek lehetővé teszik, hogy az információ megkerülje a konvolúciós rétegeket, miközben különböző léptékű vagy felbontású információkat tárol5.Mivel a képi műtermékek befolyásolhatják a kisméretű és általános nagyméretű képteljesítményt, a kapcsolatkihagyásos neurális hálózatok kiválóan alkalmasak ennek a minőség-ellenőrzési feladatnak az automatizálására5.A közelmúltban publikált munka ígéretet mutatott a mély konvolúciós neurális hálózatokra vonatkozóan, amelyeket emberi becslések kiváló minőségű adatainak felhasználásával képeztek ki6.
Ebben a tanulmányban egy kapcsolatkihagyó konvolúciós neurális hálózatot tanítunk az OCTA képek minőségének automatikus meghatározására.A korábbi munkákra építünk külön modellek kidolgozásával a jó minőségű képek és a rossz minőségű képek azonosítására, mivel a képminőségi követelmények eltérőek lehetnek az egyes klinikai vagy kutatási forgatókönyvek esetén.Összehasonlítjuk ezeknek a hálózatoknak az eredményeit a konvolúciós neurális hálózatokkal anélkül, hogy hiányoznának a kapcsolatok, hogy felmérjük, milyen értéket képvisel a mélytanuláson belüli többszintű funkciók beépítése.Eredményeinket ezután összehasonlítottuk a jelerősséggel, amely a gyártók által biztosított képminőség általánosan elfogadott mérőszáma.
Vizsgálatunkban olyan cukorbetegek vettek részt, akik 2017. augusztus 11. és 2019. április 11. között a Yale Eye Centerben vettek részt. A nem cukorbeteg chorioretinalis betegségben szenvedő betegeket kizártuk.Koron, nemen, faji hovatartozáson, képminőségen vagy bármilyen más tényezőn alapuló felvételi vagy kizárási kritériumok nem voltak.
Az OCTA-képeket az AngioPlex platform segítségével szereztük be Cirrus HD-OCT 5000-en (Carl Zeiss Meditec Inc, Dublin, CA), 8\(\times\)8 mm-es és 6\(\times\)6 mm-es képalkotó protokollokkal.A vizsgálatban való részvételhez minden résztvevő beleegyezett, és a Yale Egyetem Intézményi Felülvizsgáló Testülete (IRB) jóváhagyta a tájékozott beleegyezés alkalmazását a globális fényképezéssel minden ilyen beteg esetében.A Helsinki Nyilatkozat elveit követve.A tanulmányt a Yale Egyetem IRB hagyta jóvá.
A felületi lemezképeket a korábban ismertetett mozgási műtermék pontszám (MAS), a korábban leírt szegmentációs műtermék pontszám (SAS), a fovealis központ, a média átlátszatlanságának jelenléte és a kis kapillárisok jó vizualizációja alapján értékelték ki, a képértékelő által meghatározott módon.A képeket két független értékelő (RD és JW) elemezte.Egy kép 2-es osztályzattal rendelkezik (jogosult), ha az alábbi feltételek mindegyike teljesül: a kép a fovea közepén van (kevesebb mint 100 pixel a kép közepétől), a MAS 1 vagy 2, a SAS 1, és a média átlátszatlansága kisebb, mint 1. A / 16 méretű képeken jelen van, és a 15/16-nál nagyobb képeken kis kapillárisok láthatók.Egy kép 0-ra (nincs értékelés) akkor kerül besorolásra, ha az alábbi feltételek bármelyike ​​teljesül: a kép nem középen van, ha a MAS értéke 4, ha a SAS értéke 2, vagy az átlagos átlátszatlanság nagyobb, mint a kép 1/4-e, és a kis kapillárisok nem állíthatók több mint 1 kép /4 megkülönböztetéshez.Minden olyan kép, amely nem felel meg a 0-s vagy 2-es pontozási kritériumnak, 1-gyel (kivágás) lesz értékelve.
ábrán.Az 1. ábra mintaképeket mutat az egyes méretezett becslésekhez és képtermékekhez.Az egyéni pontszámok értékelőközi megbízhatóságát Cohen-féle kappa súlyozással8 értékelték.Az egyes értékelők egyéni pontszámait összeadjuk, így minden képre 0-tól 4-ig terjedő összpontszámot kapunk. A 4-es összpontszámú képeket jónak tekintjük.A 0 vagy 1 összpontszámú képek rossz minőségűnek minősülnek.
Egy ResNet152 architektúrájú konvolúciós neurális hálózatot (3A.i ábra), amelyet az ImageNet adatbázisból származó képekre előtanítottak, a fast.ai és a PyTorch keretrendszer5, 9, 10, 11 segítségével állítottunk elő. A konvolúciós neurális hálózat olyan hálózat, amely a tanult szűrők képrészletek beolvasásához a térbeli és helyi jellemzők tanulmányozása érdekében.A mi betanított ResNetünk egy 152 rétegű neurális hálózat, amelyet rések vagy „maradék kapcsolatok” jellemeznek, amelyek egyszerre több felbontással továbbítják az információkat.A hálózaton keresztül különböző felbontású információk kivetítésével a platform több részletszinten megtanulhatja az alacsony minőségű képek jellemzőit.A ResNet modellünkön kívül egy jól tanulmányozott neurális hálózati architektúrát, az AlexNet-et is betanítottuk, anélkül, hogy az összehasonlításhoz kapcsolatokat hiányolnánk (3A.ii ábra)12.Hiányzó kapcsolatok nélkül ez a hálózat nem lesz képes nagyobb részletességgel rögzíteni a funkciókat.
Az eredeti 8\(\times\)8mm-es OCTA13 képkészletet vízszintes és függőleges tükrözési technikákkal javították.A teljes adatkészletet ezután véletlenszerűen felosztottuk képszinten képzési (51,2%), tesztelési (12,8%), hiperparaméter-hangolási (16%) és validációs (20%) adatkészletekre a scikit-learn eszköztár python14 segítségével.Két esetet vettünk figyelembe, az egyikben csak a legjobb minőségű képeket észlelték (összesített pontszám 4), a másikban pedig csak a legalacsonyabb minőségű képeket észlelték (összes pontszám 0 vagy 1).A neurális hálózat minden egyes jó és rossz minőségű felhasználási esethez egyszer átképzésre kerül a képadatainkon.Minden felhasználási esetben a neurális hálózatot 10 korszakra betanították, a legmagasabb rétegsúlyok kivételével az összeset lefagyasztottuk, és az összes belső paraméter súlyát 40 korszakra megtanultuk diszkriminatív tanulási sebesség módszerrel, kereszt-entrópiaveszteségi függvénnyel 15, 16..A keresztentrópia veszteség függvény a megjósolt hálózati címkék és a valós adatok közötti eltérés logaritmikus skálájának mérőszáma.A képzés során gradiens süllyedés történik a neurális hálózat belső paraméterein a veszteségek minimalizálása érdekében.A tanulási arányt, a lemorzsolódási arányt és a súlycsökkentési hiperparamétereket Bayes-i optimalizálással hangoltuk 2 véletlenszerű kiindulási ponttal és 10 iterációval, az adatkészlet AUC-ját pedig a hiperparaméterek 17-es célként történő beállításával.
Reprezentatív példák a felületes kapilláris plexusok 8 × 8 mm-es OCTA-képeire, amelyek 2 (A, B), 1 (C, D) és 0 (E, F) pontot értek el.A megjelenített képi műtermékek közé tartoznak a villogó vonalak (nyilak), a szegmentációs műtermékek (csillagok) és a média átlátszatlansága (nyilak).A kép (E) szintén nem középen van.
A vevő működési jellemzői (ROC) görbék ezután az összes neurális hálózati modellhez generálódnak, és a motor jelerőssége jelentéseket generál minden egyes rossz minőségű és jó minőségű használati esethez.A görbe alatti területet (AUC) a pROC R csomag segítségével számítottuk ki, a 95%-os konfidencia intervallumokat és a p-értékeket pedig a DeLong módszerrel18,19.Az összes ROC-számítás alapértéke az emberi értékelők összesített pontszáma.A gép által jelentett jelerősségre vonatkozóan az AUC-t kétszer számították ki: egyszer a kiváló minőségű skálázhatósági pontszám határértékére, egyszer pedig az alacsony minőségű skálázhatósági pontszám határértékére.A neurális hálózatot összehasonlítják az AUC jelerősségével, ami tükrözi saját képzési és értékelési feltételeit.
A betanított mélytanulási modell külön adatkészleten való további teszteléséhez a kiváló minőségű és alacsony minőségű modelleket közvetlenül alkalmaztuk a Yale Egyetemről gyűjtött 32 teljes felületű, 6\(\times\) 6 mm-es felületi lemezkép teljesítményértékelésére.Az Eye Mass a képpel egy időben van középre állítva 8 \(\times \) 8 mm.A 6\(\×\) 6 mm-es képeket ugyanazok az értékelők (RD és JW) manuálisan értékelték ki, ugyanúgy, mint a 8\(\×\) 8 mm-es képeket, kiszámították az AUC-t, valamint a pontosságot és a Cohen-kappát. .egyformán .
Az osztálykiegyensúlyozatlansági arány 158:189 (\(\rho = 1,19\)) az alacsony minőségű modellnél és 80:267 (\(\rho = 3,3\)) a jó minőségű modellnél.Mivel az osztálykiegyensúlyozatlanság aránya kisebb, mint 1:4, nem történtek konkrét építészeti változtatások az osztálykiegyensúlyozatlanság korrigálása érdekében20,21.
A tanulási folyamat jobb megjelenítése érdekében osztályaktiválási térképeket generáltak mind a négy betanított mélytanulási modellhez: a kiváló minőségű ResNet152 modellhez, az alacsony minőségű ResNet152 modellhez, a kiváló minőségű AlexNet modellhez és az alacsony minőségű AlexNet modellhez.A négy modell bemeneti konvolúciós rétegeiből osztályaktivációs térképeket állítanak elő, a hőtérképeket pedig úgy állítják elő, hogy az aktiválási térképeket a 8 × 8 mm-es és a 6 × 6 mm-es validációs készletekből származó forrásképekkel fedik át22, 23.
Az összes statisztikai számításhoz az R 4.0.3-as verzióját használtuk, a vizualizációk pedig a ggplot2 grafikus eszköztár segítségével készültek.
134 embertől 347 frontális képet gyűjtöttünk a 8 \(\times \)8 mm-es felületes kapilláris plexusról.A gép 0-tól 10-ig terjedő skálán jelezte a jelerősséget az összes képre (átlag = 6,99 ± 2,29).A 347 képből az átlagos vizsgálati életkor 58,7 ± 14,6 év volt, és 39,2%-a férfi betegtől származott.Az összes kép 30,8%-a kaukázusi származású, 32,6%-a feketék, 30,8%-a spanyolajkúak, 4%-a ázsiaiak és 1,7%-a más rasszból származott (1. táblázat).).Az OCTA-s betegek életkori megoszlása ​​szignifikánsan különbözött a kép minőségétől függően (p < 0,001).A jó minőségű képek százalékos aránya a fiatalabb, 18-45 éves betegeknél 33,8% volt, szemben az alacsony minőségű képek 12,2%-ával (1. táblázat).A diabéteszes retinopátia státusz megoszlása ​​a képminőségben is szignifikánsan változott (p < 0,017).Az összes jó minőségű kép között a PDR-ben szenvedő betegek aránya 18,8% volt, szemben az összes rossz minőségű kép 38,8%-ával (1. táblázat).
Az összes kép egyéni értékelése közepestől erősig terjedő megbízhatóságot mutatott a képeket olvasó emberek között (Cohen súlyozott kappa = 0,79, 95%-os CI: 0,76-0,82), és nem volt olyan képpont, ahol az értékelők 1-nél nagyobb eltérést mutattak volna. 2A)..A jelintenzitás szignifikánsan korrelált a kézi pontozással (Pearson termékmomentum-korreláció = 0,58, 95% CI 0,51–0,65, p<0,001), de sok képről megállapították, hogy magas jelintenzitású, de alacsony kézi pontozású (.2B ábra).
A ResNet152 és AlexNet architektúrák betanítása során a keresztentrópia veszteség az érvényesítés és a betanítás során 50 korszak fölé esik (3B, C ábra).Az érvényesítési pontosság a végső képzési korszakban 90% feletti mind a jó minőségű, mind az alacsony minőségű felhasználási esetekben.
A vevő teljesítménygörbéi azt mutatják, hogy a ResNet152 modell jelentősen felülmúlja a gép által jelentett jelteljesítményt alacsony és jó minőségű felhasználási esetekben is (p < 0,001).A ResNet152 modell is jelentősen felülmúlja az AlexNet architektúrát (p = 0,005 és p = 0,014 alacsony minőségű, illetve jó minőségű eseteknél).Az eredményül kapott modellek mindegyik feladathoz 0,99 és 0,97 AUC értékeket tudtak elérni, ami lényegesen jobb, mint a megfelelő 0,82 és 0,78 AUC értékek a gépi jelerősség indexénél vagy 0,97 és 0,94 az AlexNetnél. ..(3. ábra).A ResNet és az AUC közötti különbség a jelerősségben nagyobb, ha jó minőségű képeket ismer fel, ami további előnyöket jelez a ResNet használatának ebben a feladatban.
A grafikonok bemutatják az egyes független értékelők azon képességét, hogy pontot szerezzenek és összehasonlítsák a gép által jelzett jelerősséggel.(A) Az értékelendő pontok összegéből jön létre az összes értékelendő pont.A 4-es általános skálázhatósági pontszámú képekhez jó minőséget, míg az 1-es vagy annál kisebb általános méretezhetőségi pontszámú képeket gyenge minőséghez rendeli a rendszer.(B) A jelintenzitás korrelál a kézi becslésekkel, de a nagy jelintenzitású képek gyengébb minőségűek lehetnek.A piros szaggatott vonal a gyártó által javasolt minőségi küszöböt jelzi a jelerősség alapján (jelerősség \(\ge\)6).
A ResNet átviteli tanulás jelentős javulást biztosít a képminőség azonosításában mind az alacsony minőségű, mind a jó minőségű felhasználási esetekben a gép által jelentett jelszintekhez képest.(A) Előre betanított (i) ResNet152 és (ii) AlexNet architektúrák egyszerűsített architektúra diagramja.(B) A ResNet152 képzési előzményei és a vevő teljesítménygörbéi a gép által jelentett jelerősséghez és az AlexNet alacsony minőségi kritériumaihoz képest.(C) A ResNet152 vevő betanítási története és teljesítménygörbéi a gép által jelentett jelerősséghez és az AlexNet magas minőségi kritériumaihoz képest.
A döntési határ küszöbének módosítása után a ResNet152 modell maximális előrejelzési pontossága 95,3% alacsony minőségű, 93,5% jó minőségű eset esetén (2. táblázat).Az AlexNet modell maximális előrejelzési pontossága 91,0% az alacsony minőségű esetek és 90,1% a jó minőségű esetek esetében (2. táblázat).A maximális jelerősség előrejelzési pontossága 76,1% alacsony minőségű használat esetén és 77,8% kiváló minőségű felhasználás esetén.A Cohen-féle kappa (\(\kappa\)) szerint a ResNet152 modell és a becslések közötti megegyezés 0,90 a rossz minőségű esetnél, és 0,81 a jó minőségű esetnél.A Cohen AlexNet kappa értéke 0,82 és 0,71 az alacsony minőségű, illetve a jó minőségű felhasználási esetekben.Cohen jelerőssége kappa 0,52 és 0,27 az alacsony és a jó minőségű felhasználási esetekben.
A 6 mm-es lapos lemez 6\(\x\) képén végzett jó és alacsony minőségű felismerési modellek validálása bizonyítja, hogy a betanított modell képes meghatározni a képminőséget különböző képalkotási paraméterek között.Ha 6\(\x\) 6 mm-es sekély födémeket használtak a képminőség érdekében, az alacsony minőségű modell AUC értéke 0,83 (95% CI: 0,69–0,98), a jó minőségű modell AUC értéke 0,85.(95% CI: 0,55–1,00) (2. táblázat).
A bemeneti réteg osztályaktiválási térképeinek szemrevételezése azt mutatta, hogy minden betanított neurális hálózat képjellemzőket használt a képosztályozás során (4A, B ábra).8 \(\times \) 8 mm-es és 6 \(\times \) 6 mm-es képeknél a ResNet aktiválási képek szorosan követik a retina érrendszerét.Az AlexNet aktiválási térképei is követik a retina ereit, de durvább felbontással.
A ResNet152 és AlexNet modellek osztályaktiválási térképei kiemelik a képminőséggel kapcsolatos jellemzőket.(A) Osztály aktiválási térkép, amely a felületes retina érrendszer utáni koherens aktiválást mutatja 8 \(\times \) 8 mm-es validációs képeken és (B) kiterjedést kisebb, 6 \(\times \) 6 mm-es validációs képeken.Alacsony minőségi kritériumok alapján kiképzett LQ modell, magas minőségi kritériumok szerint kiképzett HQ modell.
Korábban már bebizonyosodott, hogy a képminőség nagymértékben befolyásolhatja az OCTA képek bármilyen mennyiségi meghatározását.Ezenkívül a retinopátia jelenléte növeli a képi műtermékek előfordulását7,26.Valójában adataink – a korábbi vizsgálatokkal összhangban – szignifikáns összefüggést találtunk az életkor növekedése és a retinabetegség súlyossága, valamint a képminőség romlása között (p < 0,001, p = 0,017 az életkor és a DR-státusz tekintetében; 1. táblázat) 27 Ezért kritikus fontosságú a képminőség felmérése az OCTA-képek kvantitatív elemzése előtt.A legtöbb, OCTA-képeket elemző tanulmány gépi jelintenzitási küszöbértékeket használ, hogy kizárja a rossz minőségű képeket.Bár kimutatták, hogy a jelintenzitás befolyásolja az OCTA-paraméterek számszerűsítését, a nagy jelintenzitás önmagában nem biztos, hogy elegendő ahhoz, hogy kizárja a képműtermékeket tartalmazó képeket2, 3, 28, 29.Ezért szükséges egy megbízhatóbb képminőség-ellenőrzési módszer kidolgozása.Ennek érdekében értékeljük a felügyelt mély tanulási módszerek teljesítményét a gép által jelzett jelerősség függvényében.
Számos modellt fejlesztettünk ki a képminőség értékelésére, mivel a különböző OCTA felhasználási esetek eltérő képminőségi követelményeket támasztanak.Például a képeknek jobb minőségűnek kell lenniük.Ezen túlmenően az érdeklődésre számot tartó konkrét mennyiségi paraméterek is fontosak.Például a fovealis avascularis zóna területe nem függ a nem központi közeg zavarosságától, hanem befolyásolja az edények sűrűségét.Miközben kutatásunk továbbra is a képminőség általános megközelítésére összpontosít, amely nem kötődik egyetlen teszt követelményeihez sem, hanem a gép által jelzett jelerősség közvetlen helyettesítésére irányul, reméljük, hogy nagyobb fokú ellenőrzést biztosítunk a felhasználók számára, hogy kiválaszthatja a felhasználót érdeklő konkrét mérőszámot.válasszon egy olyan modellt, amely megfelel a képi műtermékek elfogadhatónak tartott maximális mértékének.
Alacsony és jó minőségű jelenetek esetében a kapcsolathiányos mély konvolúciós neurális hálózatok kiváló teljesítményét mutatjuk be, 0,97 és 0,99 AUC-értékekkel, illetve alacsony minőségű modellekkel.Bemutatjuk továbbá a mély tanulási megközelítésünk kiváló teljesítményét a csak gépek által jelentett jelszintekhez képest.Az átugrási kapcsolatok lehetővé teszik a neurális hálózatok számára, hogy több részletszinten tanuljanak meg jellemzőket, rögzítve a képek finomabb aspektusait (pl. kontraszt), valamint általános jellemzőket (pl. képközpontosítás30,31).Mivel a képminőséget befolyásoló képtermékek valószínűleg széles körben azonosíthatók a legjobban, a hiányzó kapcsolatokkal rendelkező neurális hálózati architektúrák jobb teljesítményt mutathatnak, mint azok, amelyek nem rendelkeznek képminőség-meghatározási feladatokkal.
Modellünket 6\(\×6mm) OCTA képeken tesztelve azt tapasztaltuk, hogy a besorolási teljesítmény csökken mind a jó minőségű, mind a gyenge minőségű modelleknél (2. ábra), ellentétben az osztályozásra betanított modell méretével.A ResNet modellhez képest az AlexNet modellnél nagyobb a bukás.A ResNet relatíve jobb teljesítménye annak köszönhető, hogy a maradék kapcsolatok több léptékű információt továbbítanak, ami robusztusabbá teszi a modellt a különböző léptékű és/vagy nagyítású képek osztályozására.
A 8 \(\×\) 8 mm-es képek és a 6 \(\×\) 6 mm-es képek közötti bizonyos különbségek rossz osztályozáshoz vezethetnek, beleértve a fovealis vaszkuláris területeket tartalmazó képek viszonylag nagy arányát, a láthatóság változásait, az érárkádokat és nincs látóideg a képen 6×6 mm.Ennek ellenére kiváló minőségű ResNet modellünk 85%-os AUC-értéket tudott elérni 6 \(\x\) 6 mm-es képek esetén, amely konfigurációra a modellt nem képezték ki, ami arra utal, hogy a képminőségi információ a neurális hálózatban van kódolva. megfelelő.egy képmérethez vagy gépkonfigurációhoz a képzésen kívül (2. táblázat).Megnyugtató, hogy a 8 \(\times \) 8 mm-es és 6 \(\times \) 6 mm-es képek ResNet- és AlexNet-szerű aktiválási térképei mindkét esetben képesek voltak kiemelni a retina ereit, ami arra utal, hogy a modell fontos információkkal rendelkezik.mindkét típusú OCTA-kép osztályozására alkalmazhatók (4. ábra).
Lauerman et al.Az OCTA-képek képminőség-értékelését hasonlóképpen az Inception architektúrával, egy másik kihagyásos konvolúciós neurális hálózattal6,32 végezték el, mély tanulási technikákat alkalmazva.A vizsgálatot a felületes kapilláris plexus képeire is korlátozták, de csak az Optovue AngioVue kisebb, 3 × 3 mm-es felvételeit használták, bár különféle chorioretinális betegségekben szenvedő betegeket is bevontak.Munkánk ezekre az alapokra épül, beleértve a több modellt is, amelyek különböző képminőségi küszöbértékeket határoznak meg, és különböző méretű képek esetén érvényesítik az eredményeket.Jelentjük a gépi tanulási modellek AUC-mutatóját is, és növeljük a már amúgy is lenyűgöző pontosságukat (90%)6 mind az alacsony minőségű (96%), mind a jó minőségű (95,7%) modelleknél6.
Ennek a képzésnek számos korlátja van.Először is, a képeket egyetlen OCTA-géppel készítettük, csak a felületes kapilláris plexus képeit 8\(\times\)8 mm-es és 6\(\times\)6 mm-es képekkel.A képek mélyebb rétegekből való kizárásának oka az, hogy a vetítési műtermékek megnehezíthetik a képek kézi kiértékelését, és esetleg kevésbé következetesek.Ezen túlmenően, csak cukorbetegeknél készültek képek, akiknél az OCTA fontos diagnosztikai és prognosztikai eszközzé válik33,34.Bár a modellünket különböző méretű képeken tesztelhettük, hogy megbizonyosodjunk az eredmények robusztusságáról, nem tudtunk megfelelő adatkészleteket azonosítani a különböző központokból, ami korlátozta a modell általánosíthatóságának megítélését.Bár a képeket csak egy központból szereztük be, különböző etnikai és faji hátterű betegektől származtak, ami vizsgálatunk egyedülálló erőssége.A sokszínűség képzési folyamatunkba való bevonásával reméljük, hogy eredményeinket tágabb értelemben is általánosítjuk, és elkerüljük a faji elfogultság kódolását az általunk kiképzett modellekben.
Tanulmányunk azt mutatja, hogy a kapcsolódást kihagyó neurális hálózatok taníthatók nagy teljesítmény elérésére az OCTA képminőség meghatározásában.Ezeket a modelleket további kutatási eszközökként biztosítjuk.Mivel a különböző metrikák eltérő képminőségi követelményeket támasztanak, az itt kialakított struktúra segítségével minden metrikához egyedi minőség-ellenőrzési modell fejleszthető.
A jövőbeli kutatásoknak különböző méretű, különböző mélységből származó képeket és különböző OCTA gépeket kell tartalmazniuk, hogy egy mély tanulási képminőség-értékelési folyamatot kapjanak, amely általánosítható OCTA platformokra és képalkotó protokollokra.A jelenlegi kutatások felügyelt mély tanulási megközelítéseken is alapulnak, amelyek emberi értékelést és képértékelést igényelnek, ami munka- és időigényes lehet nagy adatkészletek esetén.Továbbra is látni kell, hogy a felügyelet nélküli mély tanulási módszerek megfelelő különbséget tesznek-e az alacsony minőségű és a jó minőségű képek között.
Ahogy az OCTA technológia tovább fejlődik és a szkennelési sebesség növekszik, csökkenhet a képi műtermékek és a rossz minőségű képek előfordulása.A szoftver fejlesztései, például a nemrégiben bevezetett vetítési műtermék-eltávolító funkció szintén enyhíthetik ezeket a korlátokat.Sok probléma azonban továbbra is fennáll, mivel a rossz fixálású vagy jelentős médiazavaros betegek képalkotása mindig képi műtermékeket eredményez.Ahogy az OCTA-t egyre szélesebb körben használják a klinikai vizsgálatokban, alapos megfontolás szükséges ahhoz, hogy egyértelmű iránymutatásokat hozzunk létre a képelemzés elfogadható képtermékszintjére vonatkozóan.A mélytanulási módszerek alkalmazása az OCTA-képekre nagy ígéretet rejt magában, és további kutatásokra van szükség ezen a területen a képminőség-ellenőrzés robusztus megközelítésének kidolgozásához.
A jelenlegi kutatásban használt kód elérhető az octa-qc adattárban, https://github.com/rahuldhodapkar/octa-qc.A jelenlegi vizsgálat során generált és/vagy elemzett adatkészletek ésszerű kérésre rendelkezésre állnak a megfelelő szerzőktől.
Spaide, RF, Fujimoto, JG & Waheed, NK Képműtermékek az optikai koherencia angiográfiában.Retina 35, 2163–2180 (2015).
Fenner, BJ et al.Azon képalkotó jellemzők azonosítása, amelyek meghatározzák a retina kapilláris plexus denzitás mérésének minőségét és reprodukálhatóságát OCT angiográfiában.BR.J. Ophthalmol.102, 509–514 (2018).
Lauerman, JL et al.A szemkövető technológia hatása az OCT angiográfia képminőségére az életkorral összefüggő makuladegenerációban.Sírív.klinikai.Exp.szemészet.255, 1535–1542 (2017).
Babyuch AS et al.Az OCTA kapilláris perfúziós sűrűség méréseket a makula ischaemia kimutatására és értékelésére használják.szemészeti műtét.Retina Laser Imaging 51, S30–S36 (2020).
He, K., Zhang, X., Ren, S. és Sun, J. Deep Residual Learning for Image Recognition.2016-ban az IEEE Computer Vision and Pattern Recognition konferencián (2016).
Lauerman, JL et al.Automatizált OCT angiográfiás képminőség-értékelés mélytanulási algoritmusok segítségével.Sírív.klinikai.Exp.szemészet.257, 1641–1648 (2019).
Lauermann, J. et al.A szegmentációs hibák és a mozgási műtermékek előfordulása az OCT angiográfiában a retina betegségétől függ.Sírív.klinikai.Exp.szemészet.256, 1807–1816 (2018).
Pask, Adam et al.Pytorch: Egy kötelező, nagy teljesítményű mélytanulási könyvtár.A neurális információk fejlett feldolgozása.rendszer.32, 8026–8037 (2019).
Deng, J. et al.ImageNet: Nagy léptékű hierarchikus képadatbázis.2009 IEEE konferencia a számítógépes látásról és mintafelismerésről.248–255.(2009).
Krizhevsky A., Sutzkever I. és Hinton GE Imagenet osztályozás mélykonvolúciós neurális hálózatok segítségével.A neurális információk fejlett feldolgozása.rendszer.25, 1 (2012).