Нейроморфты көру – бұл дәстүрлі камералардан ерекшеленетін био-шабыттандырылған датчиктерді қолдана отырып жұмыс жасайтын Компьютерлік Көру болып саналады. Датчиктердің бұл түрі тек өзгерген пиксель қарқындылығын микросекундтық дәлдікпен жазады. Жоғары уақыт ажыратымдылығы секундына миллиондаған уақыт қадамдары диапазонында болатын оқиғаларды түсіруге мүмкіндік береді, осылайша кадрға негізделген RGB сенсорлары арқылы қол жетпейтін егжей-тегжейлі ақпаратты алады. Оқиға, былайша (𝑥,𝑦,𝑝,𝑡) төрт бойынша түптің (𝑥,𝑦) орналасуындағы өзгерген пиксель туралы жазба мен уақыт t және қарсылық 𝑝∈(0,1) бойынша жүзеге асырылады.
ISSAI зерттеушілері Ұлжан Биссаринова, Томирис Рахимжанова, Дәулет Кенжебалин және негізін қалаушы директор Атакан Варол mAP50 ұпайы 90% – дан асатын оқиғалар ағындарындағы беттер мен бет белгілерін анықтайтын 12 модельмен бірге Faces in Event Streams (FES) деп аталатын оқиғалардың бет-әлпеті туралы алғашқы үлкен және әртүрлі деректер жинағын қамтитын мақала жариялады. Деректер жиынтығында 689 минуттық жазылған оқиғалар ағындары, сондай-ақ 1,6 миллион аннотацияланған беттер бар. Зерттеушілер сонымен қатар кадрға негізделген модель мен оқиғаға негізделген модельдердің өнімділігін, сондай-ақ оқиғалардың белгіленген саны мен белгіленген уақытқа негізделген оқиға үлгілерін жинақтау әдістерін салыстырады. Эксперименттерді қорытындылай келе негізделген модельдер кадрға негізделген модельден асып түсетіндігін және уақытты жинақтау әдістері FES деректер жинағындағы беттерді анықтауға жақсырақ сәйкес келеді деген қорытындыға келді.
Зерттеу нәтижелері оқиғалар ағынының тапсырмалары арқылы бетті тану және эмоцияларды тану, сондай-ақ қарқындылықты қалпына келтіру үшін негізгі бет детекторы ретінде одан әрі зерттелуі мүмкін. FES деректер жинағы және алдын ала дайындалған модельдер GitHub-та әрі қарайғы зерттеулер үшін жалпыға қолжетімді.