ISSAI – де біз бұрын қазақ тіліне арналған сөйлеуді автоматты түрде тану жүйесін әзірледік. Енді жетістіктерімізді пайдалана отырып, біз өз жұмысымызды он түркі тілін — әзірбайжан, башқұрт, қазақ, қырғыз, өзбек, ұйғыр, саха, татар, түрік, және чуваш тілдерін автоматты түрде танитын көптілді моделіне дейін кеңейттік.
Бірлескен сөйлеу деректерін қолдана отырып оқытылған көптілді модельдер бір тілді модельдерге қарағанда сенімдірек жұмыс істеді, ең жақсы модель таңбалар мен сөздердегі қателіктердің орташа жиілігін 56% және 54% төмендетті.
Эксперименттердің нәтижелері көптілді модельдер ағылшын және орыс сияқты туыс емес, түркі емес тілдердегі деректерді пайдалана отырып әзірленгенге қарағанда, туыстық түркі тілдерінен алынған деректерді пайдалана отырып оқытылған кезде таңбалар мен сөздердегі қателік жиілігінің төмендеуі ықтималдығы жоғары екенін көрсетті.
Зерттеу, сонымен қатар, түрік тілінің ашық бастапқы корпусын ұсынды. Корпуста 186 171 сөзден тұратын 218,2 сағаттық декодталған сөйлеу бар және осы түрдегі ең үлкен жария қол жетімді түрік деректер жиынтығы болып есептеледі. Модельдерді оқыту үшін пайдаланылатын деректер жиынтығы мен кодтарды келесі сілтеме арқылы жүктеуге болады: https://github.com/IS2AI/TurkicASR .
Түркі тілдері үшін сөйлеуді автоматты түрде танудың көптілді моделінің қолдануын көрсету үшін ISSAI он түркі тілін, сондай-ақ орыс және ағылшын тілдерін танитын демо-бағдарламаны әзірледі.
Егер сіз ISSAI-дің түркі тілдері үшін көптілді автоматты түрде сөйлеу тануды коммерциялық мақсатта қолдансаңыз, осы мәлімдемені өніміңізге немесе қызметіңізге қосыңыз:
Our product uses Turkish Speech Corpus ( https://doi.org/10.48342/0xes-sf45), which is available under a Creative Commons Attribution 4.0 International License.
Егер сіз ISSAI-дің түркі тілдері үшін көптілді автоматты түрде сөйлеу тануды зерттеу үшін қолдансаңыз, оны келесідей көрсетіңіз:
Mussakhojayeva, S.; Dauletbek, K.; Yeshpanov, R.; Varol, H.A. Multilingual Speech Recognition for Turkic Languages. Information 2023, 14, 74. (https://doi.org/10.3390/info14020074)
Демо-бағдарламаның нұсқаулығы:
“Бастау” батырманы басып, кері санақ нөлге жеткенше сөйлесіңіз. Танылған нәтиже 10 секундтан кейін “Бастау” батырмасының үстінде пайда болады. Кейбір браузерлерде аудио жазу мүмкіндігі жоқ екенін еске алыңыз.
