Біз Қазақстанда қолданылатын үш тілге: қазақ, орыс және ағылшын тілдеріне сөйлеуді автоматты түрде айырып танудың (ASR) бірыңғай толассыз (E2E) моделін оқытуды оқып жатырмыз. Алдымен біз трансформаторлық желілерге негізделген көп тілді ASR E2E-нің дамуын сипаттаймыз, содан кейін жоғарыда аталған тілдерде кең бағалау жүргіземіз. Сондай-ақ, Шығыс графиктерінің жиынтығын құрудың екі нұсқасын салыстырамыз: аралас және тәуелсіз. Сонымен қатар, біз LMS және деректерді кеңейту әдістерінің көптілді ASR E2E тану өнімділігіне әсерін бағалаймыз. Сонымен қатар, біз оқыту және бағалау мақсаттары үшін бірнеше мәліметтер жиынтығын ұсынамыз. Эксперимент нәтижелері көп тілді модельдер параметрлердің ұқсас санымен көп тілді базалық көрсеткіштермен салыстырылатын сипаттамаларға қол жеткізетіндігін көрсетеді. Біздің ең жақсы көп тілді және көп тілді модельдеріміз сәйкесінше біріктірілген тест жиынтығындағы сөздердің орташа қателігінің 20,9% және 20,5% жетті. Біздің тәжірибелеріміз бен нәтижелеріміздің репродуктивтілігін қамтамасыз ету үшін біз оқу рецептерімен, мәліметтер жиынтығымен және алдын-ала дайындалған модельдермен бөлісеміз (https://github.com/IS2AI/MultilingualASR ).
