Alibaba Group esitles revolutsioonilise QwenLong-L1 arhitektuuri, mis võimaldab suurtel keelemudelitel tõhusalt töödelda äärmiselt pikki dokumente. Uus tehnoloogia avab võimalused ettevõtete aruannete, finantsaruannete ja juriidiliste lepingute analüüsimiseks sõltumata nende suurusest.
G. Ostrov
Alibaba Group esitles QwenLong-L1 — revolutsioonilise arhitektuuri, mis lahendab ühe kaasaegsete keelemudelite peamise probleemi: suutmatuse tõhusalt töötada pikkade tekstidega. See saavutus võib kardiaalselt muuta suurte dokumentide analüüsi lähenemist ettevõtluskeskkonnas.
Pikkade kontekstide probleem
Hiljuti seisid suured arutlevad mudelid (LRM) silmitsi tõsiste piirangugtega pikkade tekstidega töötamisel. Kuigi tugevdusõpe parandas märkimisväärselt nende ülesannete lahendamise oskusi, langes mudelite tõhusus järsult üle 4000 märgi tekstide töötlemisel.
See piirang takistas LRM praktilisi rakendusi valdkondades, mis nõuavad töötamist ulatuslike teadmistebaaside — teadusuuringute, õigusteaduse, finantsanalüüsi ja ettevõtete dokumendihaldusega.
QwenLong-L1 uuenduslik lähenemine
QwenLong-L1 peamine eelis seisneb mitmestaadilises õppimise lähenemises, mis hõlmab kolme põhietappi:
1. Juhendatud peenhäälestus (SFT)
Esimesel etapil õpib mudel arutlemise näidetest pikkade kontekstidega, mis loob aluse täpseks info eraldamiseks suurtest andmemahtudest.
2. Järkjärguline tugevdusõpe
Teisel etapil suurendatakse sisend-dokumentide pikkust järk-järgult, tagades mudeli stabiilse kohanemise keerukamate ülesannetega. See lähenemine võimaldab vältida järsku jõudluse langust.
3. Keerukate näidete valik
Lõppetapp kasutab kõige raskemaid näiteid eelnevatest staadiumitest, stimuleerides mudelit kõige keerukamate ülesannete omandamiseks ja erinevate arutlemistee uurimiseks.
Hübriid premeerimissüsteem
QwenLong-L1 kasutab uuenduslikku hübriid premeerimissüsteemi, mis ühendab:
- Range reeglipõhise kontrolli täpsuse tagamiseks
- Teise LLM hinnangu, mis võrdleb vastuste sisulisi tähendusi
Selline lähenemine võimaldab paindlikumalt töödelda erinevaid õigete vastuste variante, mis on iseloomulikud pikkadele ja keerukatele dokumentidele.
Muljetavaldavad testimistulemused
QwenLong-L1 testimine seitmel etalon-andmekogumil küsimus-vastus ülesannete jaoks näitas väljapaistvaid tulemusi:
- QwenLong-L1-32B — jõudlus võrreldav Anthropic's Claude-3.7 Sonnet Thinking'uga, ületab OpenAI o3-mini ja Qwen3-235B-A22B
- QwenLong-L1-14B — ületas Google Gemini 2.0 Flash Thinking ja Qwen3-32B
Spetsialiseeritud oskused
QwenLong-L1 abil õppimine viis mudeli spetsialiseeritud oskuste arendamiseni pikkade kontekstidega töötamisel:
- Parem vastuste "kinnitamine" — sidumine konkreetsete dokumendi osadega
- Vaheeesmärkide seadmine
- Vigade jälgimine ja parandamine
- Vastuste verifitseerimine
Avatud juurdepääs ja rakendamine
Alibaba avalikustas QwenLong-L1 koodi ja õpitud mudelite kaalud, mis avab laialdased võimalused rakendamiseks erinevates valdkondades:
- Õigussfäär — lepingute ja seadusandluse analüüs
- Finantsvaldkond — aruandluse ja analüütiliste materjalide töötlemine
- Ettevõttesektor — sisedokumentatsiooni töötlemine
- Teadusuuringud — suurte andmekogumite analüüs
See Alibaba saavutus võib saada pöördepunktiks tehisintellekti arengus, muutes pikkade dokumentide analüüsi kättesaadavaks ja tõhusaks laiemale ülesannete ringile.
Üksikasjalikumat teavet leiate Alibaba Group ametlikult veebisaidilt.
Probleemide puhul kirjutage meile, aitame kiiresti ja kvaliteetselt!