Context Window — Si e Zgjidhim Problemin e Dritares? (Pjesa II)
Në artikullin e kaluar pamë pse një Context Window (Dritarja e Kontekstit)Sasia e tokenëve që një model gjuhësor mund t'i shohë dhe përpunojë njëkohësisht brenda një bashkëbisedimi. shumë i madh s'është zgjidhje automatike — sjell Diminishing Returns (Kthime në Rënie)Fenomeni ku, pas një pike të caktuar, çdo token shtesë në context window kontribuon gjithnjë e më pak në cilësinë e përgjigjes së modelit. dhe Attention Dilution (Holluarja e Vëmendjes)Pasojë e context window-eve të mëdha: vëmendja e modelit shpërndahet mbi shumë më tepër tokenë, dhe tokenët vërtet të rëndësishëm rrezikojnë të mos njihen më si qendrorë.. Zgjidhja s'është ta bëjmë dritaren edhe më gigante, por ta menaxhojmë më mençur atë që futet brenda saj: të filtrojmë informacionin e panevojshëm para se biseda të fillojë, ta strukturojmë tekstin qartë (tituj, lista, Markdown), dhe mbi të gjitha të përdorim RAG (Retrieval Augmented Generation)AI me funksion kërkimi të integruar — para se të ndërtojë përgjigjen, modeli kërkon vetë brenda bazës së tij të të dhënave për seksionet e rëndësishme lidhur me pyetjen, dhe vetëm ato seksione përdoren për të formuar context window-in e përgjigjes. — teknikë ku modeli kërkon vetë në një bazë të dhënash për pjesët vërtet të rëndësishme, në vend që t'i marrë të gjitha njëherësh. Te projektet e kodit, kjo do të thotë edhe një pyetje shtesë: çfarë duhet vërtet t'i "tregohet" AI-së — kodi, dokumentacioni, arkitektura, planifikimi — dhe çfarë mbetet përgjegjësi njerëzore.
1 Thelbi Kuiz i shpejtë
1. Sipas artikullit, cila është qasja bazë, e parë, për të përmirësuar context window-in?
2. Çfarë është RAG, sipas artikullit?
3. Pse struktura e qartë e tekstit (tituj, lista, Markdown) e ndihmon AI-në?
Përgjigju saktë të gjitha pyetjeve dhe kalo tek ndarja e radhës 2 Shpjegimi
Në artikullin e kaluar pamë problemin: një Context Window (Dritarja e Kontekstit) shumë i madh s'e zgjidh automatikisht çështjen e "kujtesës" së një modeli — përkundrazi, sjell probleme të veta, si Diminishing Returns (Kthime në Rënie) dhe Attention Dilution (Holluarja e Vëmendjes). Pyetja logjike tani është: nëse thjesht ta bësh dritaren më të madhe s'mjafton, çfarë bëjmë atëherë?
Përgjigjja s'është një zgjidhje e vetme, por disa qasje që plotësojnë njëra-tjetrën. E para dhe më e thjeshta: filtro informacionin e panevojshëm që para se biseda të fillojë fare. Teksti përgatitet paraprakisht — hiqet çdo gjë që është e dyfishtë, e tepërt ose e vjetruar. Sa më pak "zhurmë" të futet në dritare, aq më shumë vend mbetet për atë që vërtet ka rëndësi.
E dyta: një strukturë e qartë e ndihmon vetë modelin ta kuptojë tekstin më mirë — jo vetëm neve si lexues. Titujt, paragrafët dhe listat i tregojnë modelit ku fillon dhe mbaron një ide. Kjo ka më shumë rëndësi te tekste teknike ose shkencore sesa, të themi, te një libër i zakonshëm — por edhe atje ndihmon, për shembull, t'i japësh formë listave me pika kur do të theksosh qartë disa elemente të veçanta. Formati Markdown (i njëjti format që përdoret te skedarët README në GitHub) është pikërisht një mënyrë praktike për ta bërë këtë — ia vlen ta kërkosh e ta mësosh, edhe pse s'është fokusi kryesor këtu.
E treta: ka kuptim edhe të përgatiten vetë modelet posaçërisht për këtë punë — pra t'u mësohet si të "kërcejnë" me mençuri mes seksioneve të një teksti, në vend që ta trajtojnë gjithçka njëlloj, pa dallim rëndësie.
Por zgjidhja më e rëndësishme — aq e rëndësishme sa merr trajtimin e vet të veçantë — quhet RAG (Retrieval Augmented Generation). Do ta dëgjosh shpesh këtë term, sepse është shumë në modë aktualisht. Në thelb, RAG është AI me funksion kërkimi të integruar.
Kështu funksionon: ne e pyesim modelin, modeli e lexon pyetjen — kjo pjesë njihet tashmë. Por më pas, modeli fillimisht kërkon vetë brenda bazës së tij të të dhënave për seksionet që janë të rëndësishme për atë pyetje specifike. Pra, e gjithë baza kërkohet, por vetëm pjesët që lidhen me pyetjen nxirren jashtë.
Me këto pjesë të gjetura ndërtohet vetë context window-i — do të thotë, vetëm këto seksione merren parasysh dhe prej tyre ndërtohet përgjigjja përfundimtare. Rezultati: përgjigje më të shpejta, më të qarta dhe më efikase, sepse modeli s'e "mbyt" veten me informacion që s'ka lidhje me pyetjen.
Ka diçka të rëndësishme këtu: seksionet e rëndësishme brenda bazës së të dhënave duhen "dizajnuar" gjithashtu — ose me algoritëm, ose dorazi. Ne mbetemi përgjegjës që baza e të dhënave vërtet të ofrojë atë çfarë kërkohet. RAG s'e zgjidh vetvetiu problemin nëse baza e të dhënave është vetë e çrregullt ose e paorganizuar.
Kjo na çon te një pyetje tjetër, mjaft praktike për projektet e kodit, me të cilat merresh kryesisht ti: çfarë duhet t'i "tregohet" vërtet një AI-je, në kontekstin e një projekti kodimi?
Diçka është e qartë: vetë baza e kodit — pra çdo rresht kodi që ke shkruar — mund të arrijë deri në miliona rreshta te projektet e mëdha. Këtu kemi ndikim direkt, sepse ne e vendosim çfarë futet. Por përveç kësaj, ka edhe shumë "informacion shtesë" po aq i rëndësishëm: importet, dependencies, skedarët e konfigurimit, degët (branches) e git-it. Nëse, për shembull, projekti përdor Angular, atëherë vetë Angular-i është po aq i rëndësishëm sa edhe rreshtat e tua të kodit.
Njësoj kanë rëndësi edhe njohuritë rreth vetë projektit — konventat e kodit dhe konventat e përgjithshme, edhe pse dikush mund të argumentojë se ato tashmë "shihen" pjesërisht te vetë kodi. Por jo të gjitha konventat shfaqen kudo, prandaj ndonjëherë duhen "ngarkuar" veçmas. Njësoj vlen edhe për diagramet e arkitekturës — ndoshta arkitektura jote ende s'është ndërtuar plotësisht, dhe vetëm një pjesë e saj është planifikuar deri tani — AI-ja duhet ta dijë edhe këtë, njësoj si dokumentacionin tjetër shtesë.
Një gjë për të cilën rrallëherë flitet, por është po aq e rëndësishme: planifikimi. Të gjitha To-Do-të, çfarë gjendet te Jira, te Trello, te GitHub — roadmap-i, objektivat — të gjitha duhet, në thelb, të "hyjnë" në context window. Këtu, kur flasim për GitHub, e kemi fjalën më pak për vetë kodin, e më shumë për GitHub Issues — pra raportime problemesh, lista gabimesh, gjëra që dalin gjatë punës.
Dhe në fund, ka edhe një kategori njohurish, ndoshta më e vështirë për t'u "dhënë" AI-së: njohuritë e brendshme të ekipit dhe të biznesit. Marrëveshje që ndonjëherë janë bërë vetëm me gojë, shënime nga takime, user stories dhe use case-t përkatëse — të gjitha këto do të ishin të dobishme që AI-ja t'i dijë, që të kuptojë vërtet ku duhet të "shkojë" kodi.
Dhe këtu bëhet e qartë diçka thelbësore: pikërisht sepse shumë prej këtyre gjërave — sidomos planifikimi, marrëveshjet e brendshme dhe konteksti i ekipit — s'mund t'i vihen lehtësisht në dispozicion AI-së, ti mbetesh ai që vazhdon të shkruajë kodin, ta vlerësojë, ta vëzhgojë, ta përmirësojë e ta validojë. Ky është një context window që në fund, realisht, vetëm një njeri mund ta "mbajë" të plotë në kokë.
Përmbledhur: AI-ja s'është thjesht "inteligjente" në vetvete — ajo reagon vetëm te ajo që i japim ne. Rezultate të mira kërkojnë kontekst të qartë, të strukturuar dhe të rëndësishëm. Dritare gjithnjë e më të mëdha s'i zgjidhin të gjitha problemet vetë, por mjete si RAG ndihmojnë shumë. Megjithatë, vendimi çfarë është vërtet i rëndësishëm mbetet gjithmonë në duart tona — baza e të dhënave është përgjegjësia jonë. Dhe kush di të bëjë pyetjet e duhura, e drejton AI-në në drejtimin e saktë.
- Zgjidhja për context window s'është ta rritësh dritaren pafundësisht, por të menaxhosh më mirë çfarë futet brenda saj.
- Filtrimi paraprak (heqja e informacionit të dyfishtë/të tepërt/të vjetruar) dhe struktura e qartë (tituj, lista, Markdown) e ndihmojnë modelin ta kuptojë tekstin më mirë.
- RAG (Retrieval Augmented Generation) është AI me funksion kërkimi të integruar: modeli kërkon vetë në bazën e të dhënave për pjesët e rëndësishme, dhe vetëm ato ndërtojnë context window-in e përgjigjes.
- RAG jep përgjigje më të shpejta, më të qarta dhe më efikase — por baza e të dhënave duhet vetë e organizuar mirë; RAG s'e zgjidh një bazë të dhënash të çrregullt.
- Te projektet e kodit, context window-i ideal përfshin jo vetëm kodin, por edhe importe/dependencies/config, dokumentacion arkitekture, planifikim (To-Do, roadmap, GitHub Issues) dhe njohuri ekipi/biznesi.
- Disa gjëra (marrëveshje të brendshme, kontekst ekipi, planifikim i pashkruar) vështirë i vihen në dispozicion AI-së — njeriu mbetet ai që i mban, i vlerëson dhe i validon.
3 Përmbledhja Kuiz i shpejtë
1. Sipas artikullit, çfarë redukton filtrimi paraprak i tekstit?
2. Sipas artikullit, çfarë bën RAG ndryshe nga qasja standarde?
3. Sipas artikullit, cila kategori njohurish është më e vështirë t'i vihet në dispozicion AI-së në një projekt kodi?
Përgjigju saktë të gjitha pyetjeve dhe kalo tek ndarja e radhës 4 Fakt
Filtrimi paraprak dhe struktura e qartë
Përgatitja e tekstit para se biseda të fillojë — duke hequr informacionin e dyfishtë, të tepërt apo të vjetruar — redukton drejtpërdrejt "zhurmën" brenda context window-it. Njësoj, një strukturë e qartë (tituj, paragrafë, lista, formatim Markdown) e ndihmon modelin ta kuptojë tekstin më lehtë, njësoj siç ndihmon edhe një lexues njeri.
RAG — Retrieval Augmented Generation
RAG është qasja më e rëndësishme e trajtuar në artikull: AI me funksion kërkimi të integruar. Në vend që t'i japësh modelit gjithçka njëherësh, modeli kërkon vetë në bazën e të dhënave për seksionet e rëndësishme për pyetjen specifike, dhe vetëm ato seksione ndërtojnë context window-in e përgjigjes — çka jep përgjigje më të shpejta dhe efikase. Përgjegjësia jonë mbetet që baza e të dhënave vetë të jetë e organizuar mirë.
Çfarë i duhet vërtet AI-së në një projekt kodi
Përtej vetë bazës së kodit, context window-i ideal i një projekti softuerik përfshin edhe importet/dependencies/config-un dhe degët e git-it, konventat e kodit dhe dokumentacionin, diagramet e arkitekturës (edhe pjesët e paplanifikuara ende), planifikimin (To-Do, roadmap, GitHub Issues), dhe njohuritë e brendshme të ekipit e të biznesit — marrëveshje, shënime takimesh, user stories.
Roli i njeriut mbetet qendror
Shumë prej këtyre kategorive — sidomos planifikimi i pashkruar, marrëveshjet e brendshme dhe konteksti i ekipit — vështirë i vihen plotësisht në dispozicion një AI-je. Njeriu mbetet ai që vazhdon të shkruajë, vlerësojë, vëzhgojë, përmirësojë dhe validojë — një context window që realisht vetëm një njeri mund ta mbajë të plotë.
4 Fakt Kuiz i shpejtë
1. Sipas përfundimit, cila është zgjidhja kryesore e propozuar për context window, përveç filtrimit dhe strukturës?
2. Sipas përfundimit, kush mbetet përgjegjës për cilësinë e bazës së të dhënave që përdor RAG?
3. Sipas përfundimit, çfarë roli mbetet gjithmonë te njeriu, edhe me RAG dhe context window të mirë-menaxhuar?
Përgjigju saktë të gjitha pyetjeve dhe kalo tek ndarja e radhës 5 Përfundimi
Zgjidhja për problemin e context window-it s'është "sa më e madhe, aq më mirë", por menaxhim i kujdesshëm i asaj që futet brenda saj: filtrim paraprak, strukturë e qartë, dhe mbi të gjitha RAG (Retrieval Augmented Generation) — teknikë që i lejon modelit të kërkojë vetë pjesët vërtet të rëndësishme, në vend që t'i marrë të gjitha njëherësh. Te projektet e kodit, kjo zgjerohet edhe në pyetjen çfarë duhet t'i "tregohet" realisht AI-së — kodi, dokumentacioni, planifikimi, njohuritë e ekipit. AI-ja s'është "inteligjente" vetvetiu; ajo reagon vetëm te konteksti që i japim. Dritare më të mëdha s'i zgjidhin vetë të gjitha problemet, por vendimi çfarë është vërtet i rëndësishëm mbetet gjithmonë përgjegjësi jonë.
5 Përfundimi Kuiz i shpejtë
1. Si përkufizohet 'RAG (Retrieval Augmented Generation)' në terminologjinë e artikullit?
2. Si përkufizohet 'Context Window (Dritarja e Kontekstit)' në terminologjinë e artikullit?
Përgjigju saktë të gjitha pyetjeve dhe kalo tek ndarja e radhës 6 Terminologji
Pasojë e context window-eve të mëdha: vëmendja e modelit shpërndahet mbi shumë më tepër tokenë, dhe tokenët vërtet të rëndësishëm rrezikojnë të mos njihen më si qendrorë.
Sasia e tokenëve që një model gjuhësor mund t'i shohë dhe përpunojë njëkohësisht brenda një bashkëbisedimi.
Fenomeni ku, pas një pike të caktuar, çdo token shtesë në context window kontribuon gjithnjë e më pak në cilësinë e përgjigjes së modelit.
AI me funksion kërkimi të integruar — para se të ndërtojë përgjigjen, modeli kërkon vetë brenda bazës së tij të të dhënave për seksionet e rëndësishme lidhur me pyetjen, dhe vetëm ato seksione përdoren për të formuar context window-in e përgjigjes.
1. Sipas artikullit, cila është qasja bazë, e parë, për të përmirësuar context window-in?
Teksti përgatitet paraprakisht — hiqet çdo gjë e dyfishtë, e tepërt ose e vjetruar, që të mbetet më shumë 'vend' për atë që vërtet ka rëndësi.
2. Pse struktura e qartë (tituj, lista, Markdown) e ndihmon AI-në ta kuptojë tekstin?
Markdown (i njëjti format i skedarëve README në GitHub) është një mënyrë praktike e njohur për të dhënë strukturë të qartë tekstit.
3. Çfarë është RAG (Retrieval Augmented Generation), sipas artikullit?
RAG e lejon modelin të kërkojë vetë brenda bazës së të dhënave, në vend që t'i marrë të gjitha njëherësh, para se të ndërtojë përgjigjen.
4. Si ndërtohet context window-i kur përdoret RAG?
Vetëm seksionet që lidhen me pyetjen nxirren nga baza dhe përdoren për të ndërtuar përgjigjen — jo e gjithë baza njëherësh.
5. Kush mbetet përgjegjës që baza e të dhënave e RAG-ut vërtet të ofrojë atë çfarë kërkohet?
RAG s'e zgjidh problemin nëse vetë baza e të dhënave është e çrregullt ose e paorganizuar — organizimi mbetet përgjegjësi njerëzore.
6. Përtej vetë kodit, çfarë tjetër përfshihet në context window-in ideal të një projekti softuerik, sipas artikullit?
Nëse projekti përdor, për shembull, Angular, atëherë vetë Angular-i është po aq i rëndësishëm sa rreshtat e tua të kodit.
7. Sipas artikullit, çfarë kuptohet me 'planifikim' si pjesë e context window-it të një projekti kodi?
Kjo është një kategori për të cilën rrallë flitet, por artikulli e thekson si po aq të rëndësishme sa vetë kodi.
8. Cila kategori njohurish, sipas artikullit, është më e vështirë t'i vihet plotësisht në dispozicion një AI-je?
Këto lloj njohurish shpesh mbahen vetëm në kokën e njeriut ose thuhen gojarisht mes ekipit — vështirë të formalizohen dhe t'i jepen AI-së si tekst.
9. Sipas artikullit, pse njeriu mbetet i domosdoshëm edhe kur përdoret RAG dhe context window i mirë-menaxhuar?
Artikulli e quan këtë 'një context window që realisht vetëm një njeri mund ta mbajë të plotë në kokë' — planifikimi, marrëveshjet e brendshme dhe konteksti i ekipit.
10. Cila është përmbledhja më e saktë e mesazhit kryesor të artikullit?
Katër shtyllat kryesore (filtrim paraprak, strukturë e qartë, modele të specializuara, RAG) plotësojnë njëra-tjetrën, por asnjëra s'e heq përgjegjësinë njerëzore për cilësinë e kontekstit.
Ushtrimi 1. Shpjego me fjalët e tua ndryshimin mes qasjes "standarde" (i japim modelit gjithçka njëherësh) dhe qasjes RAG (Retrieval Augmented Generation).
Shfaq përgjigjen
Në qasjen standarde, i gjithë teksti/dokumentacioni i disponueshëm futet potencialisht në context window, edhe pjesët që s'kanë lidhje me pyetjen konkrete — kjo rrit rrezikun e Diminishing Returns dhe Attention Dilution. Në RAG, modeli fillimisht kërkon brenda bazës së të dhënave për seksionet vërtet të rëndësishme për atë pyetje specifike, dhe vetëm ato seksione futen në context window për të ndërtuar përgjigjen — pra dritara përdoret më efikas, me më pak "zhurmë" të panevojshme.
Ushtrimi 2. Pse RAG s'është "zgjidhje magjike" që funksionon vetvetiu, pavarësisht nga cilësia e bazës së të dhënave që përdoret?
Shfaq përgjigjen
Sepse RAG mund të kërkojë vetëm brenda asaj çfarë ekziston në bazën e të dhënave — nëse vetë baza është e çrregullt, e paorganizuar, e vjetruar ose mungojnë pjesë të rëndësishme, RAG do të gjejë e do të kthejë informacion po aq të dobët. Cilësia e "kërkimit" varet drejtpërdrejt nga cilësia e asaj çfarë kërkohet — dhe kjo mbetet përgjegjësi jonë, jo e vetë algoritmit të RAG-ut.
Ushtrimi 3. Përveç vetë kodit, përmend të paktën tri kategori të tjera informacioni që, sipas artikullit, duhet t'i "tregohen" AI-së në një projekt kodimi, dhe shpjego shkurt pse.
Shfaq përgjigjen
Shembuj: (1) importet/dependencies/config-u dhe degët e git-it — sepse, p.sh., një framework si Angular është po aq i rëndësishëm sa kodi vetë; (2) dokumentacioni i arkitekturës dhe konventat e kodit — sepse jo çdo konventë shfaqet automatikisht te vetë kodi; (3) planifikimi (To-Do, roadmap, GitHub Issues) — sepse AI-ja s'mund ta dijë drejtimin e projektit vetëm nga kodi ekzistues; (4) njohuritë e ekipit/biznesit (marrëveshje gojore, shënime takimesh, user stories) — sepse këto shpesh s'shkruhen fare, por ndikojnë drejtpërdrejt ku duhet të "shkojë" kodi.
Projekt Mini. Mendo për një projekt kodi (real ose i imagjinuar) me të cilin ti punon. Përshkruaj si do ta "përgatisje" kontekstin për një AI që të të ndihmonte më mirë me të — çfarë do të filtroje jashtë, çfarë do të strukturoje më qartë, dhe çfarë kategorish informacioni (nga lista e artikullit: kod, dokumentacion, planifikim, njohuri ekipi) do t'i jepje përparësi t'i "tregoje" modelit fillimisht.
Shfaq përgjigjen
Shembull qasjeje: fillimisht do të filtroja jashtë kodin e vjetëruar ose skedarët e testeve të pambajtura më, që të mos "zënë vend" kot në context window. Do ta strukturoja dokumentacionin ekzistues me tituj e lista të qarta (Markdown), në vend që të jetë tekst i rrjedhshëm pa ndarje. Përparësi do t'u jepja: (1) skedarëve të config-ut dhe dependencies, sepse pa to konteksti i kodit është i paplotë; (2) çdo dokumentacioni ekzistues të arkitekturës, edhe nëse i pjesshëm; (3) listës aktuale të GitHub Issues, që AI-ja të dijë çfarë probleme janë ende të hapura. Njohuritë e ekipit (marrëveshje gojore, vendime informale) do të mbeteshin përgjegjësia ime për t'i mbajtur në mend dhe për t'i sjellë unë vetë kur nevojitet, sepse ato realisht s'mund t'i "jepen" plotësisht AI-së si tekst.