Жаңалықтар

cover

10 желтоқсан 2024 ж.

ISSAI KAZ-LLM: Қазақ тілінің үлкен тілдік моделі ашық қолжетімділікте ұсынылды

 2024 жылғы 10 желтоқсан күні Назарбаев Университетінің Ақылды жүйелер мен жасанды интеллект институты (ISSAI) қазақ тілінің үлкен тілдік моделін (ISSAI KAZ-LLM) ұсынды. Бұл модель Қазақстанның жасанды интеллект саласындағы жаһандық аренаға қадам басудағы маңызды кезеңін білдіреді. Модель елдің инновацияға, өзін-өзі қамтамасыз етуге және технологиялық экожүйенің дамуына деген ұмтылысын көрсетеді.

Қазақстанның көптілділігі мен көпмәдениеттілігінің ерекшеліктерін ескере отырып жасалған ISSAI KAZ-LLM моделі қазақ, орыс, ағылшын және түрік тілдерінде жұмыс істейді. Бұл модель тілдік тосқауылдарды жоюға және цифрлық ресурстары аз тілдерге арналған генеративті ЖИ технологиясын дамытуға ықпал етеді.

Негізгі ерекшеліктер мен жетістіктер

  • Жергілікті әзірлеу: Жоба ISSAI командасының жоғары білікті қазақстандық зерттеушілерімен жасалды. Ол жергілікті таланттарға практикалық тәжірибе беріп, елдің жасанды интеллект саласындағы әлеуетін арттырды.
  • Заманауи мүмкіндіктер: Модельдің 8 және 70 миллиард параметрден тұратын нұсқалары қолжетімді. Олар Meta компаниясының Llama архитектурасына негізделіп, қуатты жүйелер мен ресурсы шектеулі ортаға оңтайландырылған.
  • Кең ауқымды деректер базасы: ISSAI командасы 150 миллиардтан астам токенді жинап, өңдеп, синтездеп және аударып, модельдің жоғары өнімділігін қамтамасыз етті.
  • Бенчмарк көшбасшысы: ISSAI KAZ-LLM қазақ тілінде көрнекті нәтижелер көрсетіп, орыс және ағылшын тілдерінде жаһандық деңгейдегі ЖИ модельдерімен бәсекелесе алады.
  • Ашық қолжетімділік: Модельдің алты нұсқасы CC-BY-NC лицензиясы бойынша Hugging Face платформасында коммерциялық емес пайдалануға қолжетімді. Бұл жаһандық академиялық және зерттеу ынтымақтастығын дамытуға ықпал етеді.

Жоба тек заманауи ЖИ құралын ұсынып қана қоймай, сонымен бірге Қазақстанның технологиялық кадрлық әлеуетін дамытуға ықпал етеді. Зерттеушілер деректерді дайындаудан бастап моделдің енгізілуіне дейінгі барлық кезеңдерге қатысып, тұрақты инновациялардың негізін қалады. Жетекші қазақстандық мекемелермен бірлесе отырып, қазақ тіліне бейімделген бенчмарк құралдары мен деректер жинақтары әзірленді. Бұл жобаға лингвистердің қатысуымен және машиналық аударма әдістерін қолдану арқылы қол жеткізілді.

ISSAI болашақта жаңа буын ЖИ жүйелерін, соның ішінде тіл мен бейнені біріктіретін модельдерді әзірлеуді жоспарлап отыр. Сондай-ақ, модельді басқа түркі және аймақтық тілдерге кеңейту көзделуде. Бұл бастамалар өңірлік байланыстарды нығайту, тілдік инклюзияны дамыту және Қазақстанда ғана емес, одан тыс жерлерде де экономикалық және технологиялық әсерді арттыруға бағытталған.

ISSAI KAZ-LLM жобасы НУ және НЗМ даму қоры, Astana Hub және QazCode (Beeline) демеушілігімен жүзеге асты. Жоба мемлекеттің қаражатынсыз әзірленді. Біз осы бастамаға сенім білдірген демеушілерімізге алғысымызды білдіреміз.

Сондай-ақ, Назарбаев Университетіне инновацияны дамытуға және зияткерлік өсуді қолдайтын орта жасауға деген адалдығы үшін алғысымызды айтамыз. Бұл маңызды нәтижеге жетудің негізгі факторларының бірі болды.

Ынтымақтастық және медиа сұраулар үшін байланыс:
Электрондық пошта: issai@nu.edu.kz