ҒЗИ үшін жергілікті тілдік модель: ғылыми мұрағаттан дереккөздерге сілтемелерімен іздеу
Мазмұны
Ғылыми-зерттеу институттарының архивтері орасан зор: онда ондаған жыл бойы тақырыптар бойынша жиналған есептер, жарияланбаған нәтижелер, зертханалық журналдар, патенттік материалдар мен грант құжаттамасы бар. Олардың арасынан керегін табуға бірнеше сағат кетеді, ал білімнің бір бөлігі қызметкерлермен бірге кетеді. Сонымен қатар мұндай материалдарды ашық ЖИ сервистеріне жүктеуге болмайды: олар институттың зияткерлік меншігі және көбіне қолжетімділігі шектеулі деректер болып саналады.
Архив бойынша іздейтін жергілікті тілдік модель екі міндетті де шешеді: зерттеушілерге қуатты құрал беріп, деректерді институт ішінде қалдырады.
Бұл қалай жұмыс істейді
Технология RAG деп аталады, ол жауап құрастыра отырып іздеу жүргізеді:
- Жүктеу. Институт құжаттары жүйеге түседі: PDF, Word, кестелер және ескі есептердің скандары.
- Тану. Скандардағы мәтін, соның ішінде кестелер мен формулалар сапасы мүмкіндік берген деңгейде танылады.
- Индекстеу. Құжаттар тақырып, жыл, зертхана, авторлар, қолжетімділік грифі сияқты метадеректермен бірге мағыналық үзінділерге бөлінеді.
- Сұрақ. Зерттеуші сұрағын қарапайым тілмен қояды.
- Іздеу. Жүйе қолжетімділік құқықтарын ескере отырып, сұраққа қатысты үзінділерді табады.
- Жауап. Тілдік модель табылған мәліметтер негізінде жауап құрастырады.
- Сілтемелер. Жауапта нақты құжаттар, беттер мен дәйексөздер көрсетіледі.
Модель институт құжаттарымен оқытылмайды. Білім басқарылатын индексте сақталады, оны жаңартуға және одан материалдарды өшіруге болады.
ҒЗИ үшін қолдану сценарийлері
| Сценарий | Сұрақ мысалы | Пайдасы |
|---|---|---|
| Ішкі есептерден іздеу | осы әдістеме бойынша қандай эксперименттер жүргізілді және олардың нәтижесі қандай болды | жасалған жұмысты қайталамау |
| Әдебиеттерге шолу | архив пен жарияланымдардағы тақырып бойынша дереккөздері көрсетілген жинақ | мақалаларды жылдам дайындау |
| Әдістемелерді салыстыру | әртүрлі жұмыстардағы жағдайлар мен нәтижелердің айырмашылығы қандай болды | деректерді қолмен жинақтамай талдау |
| Қайшылықтарды іздеу | әртүрлі жұмыстардың нәтижелері қай жерде бір-біріне сәйкес келмейді | жаңа зерттеулерге негіз болатын тұстар |
| Өтінімдер дайындау | ұжымның осы тақырып бойынша бұрынғы жұмыстары мен нәтижелері | гранттық өтінімдерді жылдам дайындау |
| Білімді беру | жаңа қызметкерге арналған бағыттың тарихы | жылдам бейімделу |
Неліктен жергілікті орналастыру керек
- Зияткерлік меншік. Жарияланбаған нәтижелер мен патенттік өтінімдер институттан тыс шықпайды.
- Қолжетімділігі шектеулі деректер. Қорғалған контурда қалады.
- Дербес деректер. Заңнама оларды Қазақстан аумағында сақтауды талап етеді.
- Бақылау. Институт кімнің нені сұрататынын көреді және қолжетімділікті басқарады.
- Тәуелсіздік. Жұмыс шетелдік сервистің қолжетімділігі мен шарттарына тәуелді емес.
Жергілікті модель институт серверлерінде, қазақстандық провайдердің жеке бұлтында немесе толық оқшауланған желіде жұмыс істей алады.
Архитектура
| Компонент | Мақсаты |
|---|---|
| Жүктеу тізбегі | тексеру, тану, бөліктерге бөлу, метадеректер, нұсқалар |
| Іздеу индексі | қолжетімділік құқықтары бойынша сүзгілерді қолданып, үзінділерден семантикалық іздеу |
| Тілдік модель | табылған мәліметтер негізінде жауап құрастыру |
| Тану моделі | скандар, кестелер, кескіндер |
| Қол жеткізуді басқару | қызметкерлердің жүйеге кіруі, зертханалар мен тақырыптар бойынша құқықтар |
| Блог | кім, нені және қашан сұратқаны |
| Сапаны бағалау | эталондық сұрақтар, дәлдік пен дәйексөз келтіру метрикалары |
Ғылыми құжаттардың ерекшеліктері
- Формулалар мен кестелер. Мұқият тануды және тексеруді қажет етеді.
- Терминология. Қазақ, орыс және ағылшын тілдеріндегі тар салалық терминдер.
- Нұсқалар. Бір тақырып бойынша нобайлар мен қорытынды есептер.
- Қолжетімділік грифі. Институт ішіндегі ашықтықтың әртүрлі деңгейлері.
- Әртүрлі сападағы ескі скандардың үлкен көлемі.
Осы ерекшеліктердің әрқайсысы өңдеу тізбегінде ескеріледі және пилотта тексеріледі.
Қалай бастауға болады
- Аудит. Қандай архивтер бар, олардың пішімі қандай, иесі кім, қолжетімділікке қандай шектеулер қойылған және инфрақұрылымы қандай.
- Пилот үшін архив таңдау. Мысалы, бір бөлімнің 10 жылдағы есептері.
- Зерттеушілердің сұрақтарынан тұратын эталондық жиынтық.
- Қолжетімділік құқықтарын ескеріп, жылдамдығын өлшей отырып, 2-3 модельде пилот өткізу.
- Эталондық сұрақтар мен пайдаланушылардың пікірлері негізінде бағалау.
- Басқа архивтер мен бөлімшелерге кеңейту.
Мысал: салалық институттағы пилот
Тақырыптар бойынша 15 жылдық есептер архиві бар шартты институт: шамамен он мың құжат, олардың бір бөлігі скан түрінде. Зерттеушілер ұқсас эксперименттердің бұрын жүргізілгенін анықтауға бірнеше сағат жұмсайды.
| Қадам | Не істеледі |
|---|---|
| Архив таңдау | бір зертхананың 10 жылдағы есептері |
| Дайындау | скандарды тану, тақырыптар мен жылдар бойынша белгілеу, қолжетімділік құқықтары |
| Эталондық жиынтық | зерттеушілердің жауаптары белгілі 70 сұрағы |
| Модельдерді салыстыру | 3 модель, дәлдікті, сілтемелер мен жылдамдықты өлшеу |
| Пилот | бірнеше апта бойы қатысатын 10 зерттеуші |
| Шешім | модель таңдау, инфрақұрылымды есептеу, кеңейту жоспары |
Пилот нәтижесі әсермен емес, сандармен өлшенеді: дұрыс жауаптардың үлесі, сілтемелердің дұрыстығы және әдеттегі іздеуге жұмсалатын уақыттың үнемделуі.
Сапаны қалай бағалауға болады
- Дәлдік: жауап сарапшы дұрыс деп есептеген жауаппен сәйкес келеді.
- Негізділік: әрбір тұжырым табылған үзіндімен расталған.
- Толықтық: жүйе бірінші табылған құжатты ғана емес, барлық релевантты құжаттарды табады.
- Қауіпсіздік: жабық материалдар оларға қол жеткізу құқығы жоқ пайдаланушыларға берілмейді.
- Жылдамдық: жауап беру уақыты жұмыс істеуге қолайлы.
Жиі қойылатын сұрақтар
Жүйе қазақ тілімен жұмыс істей ме?
Сапа модельге байланысты. Таңдау жасамас бұрын қазақстандық және халықаралық модельдер институт құжаттарында салыстырылады.
Ескі скандармен не істеуге болады?
Олар мәтінді тану арқылы қосылады. Сапа скандардың күйіне байланысты, сапасы нашар беттер қолмен тексеру үшін белгіленеді.
ЖИ қателесуі мүмкін бе?
Иә, сондықтан әр жауапқа дереккөздерге сілтемелер қоса беріледі, ал зерттеуші оларды бірнеше секундта тексереді.
Серверлер сатып алу керек пе?
Бастапқыда міндетті емес. Пилотты қазақстандық деректер орталығында жалға алынған қуаттарда өткізіп, жабдықты өлшеу нәтижелеріне қарай таңдауға болады.
Жарияланымдардың сыртқы дерекқорларын қосуға бола ма?
Иә, егер лицензиялар жүктеуге және индекстеуге рұқсат берсе. Бұл әр дереккөз үшін бөлек тексеріледі.
Нәтижелер мен индекс кімге тиесілі?
Институтқа. Индекс, баптаулар мен журналдар оның өз контурында немесе шарт бойынша Қазақстандағы провайдерде сақталады.
Мәтіндермен қатар эксперимент деректерін де қосуға бола ма?
Иә, жүйе пайдалана алуы үшін кестелер мен құрылымдалған деректер өрістерінің сипаттамасымен бірге бөлек қосылады.
