Бұл Қазақстанда қолданылатын үш тілге: қазақ, орыс және ағылшын тілдеріне арналған көптілді сөзді Автоматты түрде танудың алғашқы зерттеуі. Қазақстан – қазақ тілі ресми мемлекеттік тіл болып табылатын көп ұлтты ел, сонымен бірге орыс және ағылшын тілдері ұлтаралық және халықаралық қатынас тілдері болып табылады. Осыған байланысты біз қазақ, орыс және ағылшын тілдерін бір мезгілде тану үшін қолданылатын бірыңғай бірлескен модельдің алғашқы зерттеуіне бастамашылық жасаймыз. Бұл жұмыс Қазақстанда және көрші елдерде сөзді қолдау технологияларын ілгерілету және сөзді өңдеу саласындағы зерттеулерді одан әрі дамытуға ықпал етеді деп санаймыз.
Қазақ, орыс және ағылшын тілдері үшін көптілді сөзді Автоматты түрде тану жүйесінің алғашқы егжей-тегжейлі зерттеуін жүргізуден басқа, бұл жұмысқа басқа да үлестер мыналар болып табылады:
Егер сіз корпусты коммерциялық мақсатта қолдансаңыз, осы сөйлемді өніміңізге немесе қызметіңізге қосыңыз:
Our product uses ISSAI Multilingual (Kazakh, Russian, English) Speech Corpus (https://doi.org/10.48342/0qzd-fk83), which is available under a Creative Commons Attribution 4.0 International License.
Егер сіз корпусты зерттеу үшін қолдансаңыз, осы сөйлемді көрсетіңіз:
[Arxiv citation]
Төменде өзбек тілі корпусының көмегімен жасалған сөзді автоматты түрде тану жүйесінің демо-нұсқасы берілген. “Жазу” батырманы басып, кері санақ нөлге жеткенше бірден сөйлеңіз. Танылған нәтиже 10 секундтан кейін “Жазу” батырманың үстінде пайда болады. Кейбір браузерлер дыбыс жазу функцияларын қолдамайтынын ескеріңіз:
Нұсқаулық:
Браузердің кейбір нұсқалары дыбыс жазу технологиясын қолдамайды. Егер бұл сіздің жағдайыңыз болса, жұмыс үстеліндегі құрылғыларда заманауи шолғыштарды қолдануды қарастырыңыз.
The dataset statistics for the Kazakh, Russian, and English languages. Utterance and word counts are in thousands (k) or millions (M), and durations are in hours (hr). The overall statistics ‘Total’ are obtained by combining the training, validation,and test sets across all the languages.
| Languages | Corpora | Duration | Utterances | Words | ||
|---|---|---|---|---|---|---|
| 1 | Kazakh | train | KSC [3] | 318.4 hr | 147.2k | 1.6M |
| valid | 7.1 hr | 3.3k | 35.3k | |||
| test | 7.1 hr | 3.3k | 35.9k | |||
| 2 | Russian | train | OpenSTT-CS334 | 327.1 hr | 223.0k | 2.3M |
| valid | 7.1 hr | 4.8k | 48.3k | |||
| test-B (books) | OpenSTT [2] | 3.6 hr | 3.7k | 28.1k | ||
| test-Y (YouTube) | 3.4 hr | 3.9k | 31.2k | |||
| 3 | English | train | CV-330 | 330.0 hr | 208.9k | 2.2M |
| valid | CV [4] | 7.4 hr | 4.3k | 43.9k | ||
| test | 7.4 hr | 4.6k | 44.3k | |||
| test-SF (YouTube) | SpeakingFaces [1] | 7.7 hr | 6.8k | 37.7k | ||
| 4 | Total | train | - | 975.6 hr | 579.3k | 6.0M |
| valid | 21.6 hr | 12.4k | 127.5k | |||
| test | 29.1 hr | 22.5k | 177.3k | |||
[1] Abdrakhmanova, M., Kuzdeuov, A., Jarju, S., Khassanov, Y., Lewis, M., Varol, H.A.: SpeakingFaces: A large-scale multimodal dataset of voice commands with visual and thermal video streams. Sensors 21(10) (2021).
[2] Slizhikova, A., Veysov, A., Nurtdinova, D., Voronin, D.: Russian open speech to text dataset. https://github.com/snakers4/open_stt accessed: 2021-01-15.
[3] Khassanov, Y., Mussakhojayeva, S., Mirzakhmetov, A., Adiyev, A., Nurpeiissov,M., Varol, H.A.: A crowdsourced open-source Kazakh speech corpus and initial speech recognition baseline. In: Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume. pp. 697–706. Association for Computational Linguistics, 2021.
[4] Ardila, R., Branson, M., Davis, K., Kohler, M., Meyer, J., Henretty, M., Morais,R., Saunders, L., Tyers, F.M., Weber, G.: Common voice: A massively-multilingualspeech corpus. In: LREC. pp. 4218–4222. ELRA (2020)
