Pam Cenhedlaeth wedi'i Atgyfnerthu gan Adfer (RAG)?
Dechreuais yr arbrawf hwn drosta i fy hun - ac fe fethais yn dila.
Roeddwn yn ceisio fine-tune LLM i siarad yn yr un arddull â J.D. Meier, cyberconsultant a blogiwr cynhyrchiol sydd â throedfedd o synnadur meddylfryd a thwf personol am bynciau amrywiol wedi'u seilio mewn fframwaith unigryw. Mae'r blog yn trwchus - miloedd o bostiad, cyfeirlyfr o syniadau, arddull ysgrifennu gwbl adnabyddadwy.
Meddyliais: os gallaf fine-tune LLM ar y cynnwys hwn, gallaf greu cymhorthydd deallus sy'n ymresymu yn arddull JD Meier.
Beth Methais yn Anghywir
Cam cyntaf oedd casglu'r data. Gyda dros 300 o bostiadau blog, roedd hynny'n ormod i'w wneud â llaw - felly ysgrifennais sgript Python i grafu'r testun i gyd, gan gynnwys yr URL, y teitl, a chynnwys y blog, a'i fformatio i ffeil JSON. Roedd llawer o lanhau data wedyn - cymeriadau ASCII gwahanol, testun dyblyg, a mwy. Ar ben hynny, roedd llawer o'r cynnwys yn fwy na'r maint tocyn a ganiateir, felly aeth Python arall ati i geisio rhannu'r data gan gadw rhywfaint o gyd-destun y paragraff - gwaith diflas iawn.
Treuliais oriau lawer gyda GitHub Copilot yn ceisio cael y cod i redeg. Yn y diwedd defnyddiais GPT-2 trwy HuggingFace oherwydd roeddwn i'n methu â Phi-3 - roedd camgymeriadau CUDA di-ri. Ond pan redes i'r model fine-tuned o'r diwedd, yr allbwn oedd hyn:
How can I become a high-potential individual?
The answer is simple: You can't become a high-potential individual if you don't have the skills and skillset to become a high-potential individual.
skillset is the ability to be a high-potential individual.
The key to becoming a high-potential individual is to be able to be a high-potential individual.
skillset is the ability to be a high-potential individual.
skillset is the ability to be a high-potential individual.
Ailadrodd rhithiol mewn dolen: yr un ymadroddion yn dod yn ôl dro ar ôl tro, heb unrhyw berthynas â'r cwestiwn a ofynnwyd.
Cymerodd ychydig o ymchwil i mi sylweddoli beth oedd yn digwydd. Fine-tuning model iaith lleiaf yn modelu'r dosbarthiad o batrymau ieithyddol mewn data - mae'n dysgu "sut mae J.D. Meier yn ysgrifennu" i ryw raddau. Ond nid yw ar ei ben ei hun yn ateb y cwestiwn "beth yw ateb JD Meier i'r cwestiwn hwn?" - oherwydd nid yw'r wybodaeth yn cael ei storio fel ffeithiau y gellir eu hadfer. Mae'n cael ei ysgwyd i bwysau'r rhwydwaith.
Rhoi Cynnig ar RAG
Cyfnewidiais i RAG - Retrieval Augmented Generation - drwy Azure AI Studio. Mae RAG yn gweithio'n wahanol: yn hytrach na fine-tuning y model, rydych chi'n adeiladu cronfa ddata o'r cynnwys rydych chi am iddo ddysgu ohono, ac yna ar gyfer pob cwestiwn mae'r system yn cyrchu'r darnau mwyaf perthnasol o'r gronfa ddata honno a'u rhoi i'r LLM fel cyd-destun cyn ateb.
Y canlyniad? Mewn munudau - yn llythrennol, munudau yn lle dyddiau o fine-tuning - roeddwn i'n cael hwn:
How can I improve my team's productivity?
Improving your team's productivity involves a mix of strategic planning, effective management techniques, and fostering a motivating work environment. Here are several actionable strategies based on insights from the provided documents:
1. Embrace the Integrating Generalist Approach
Integrating Generalists excel in connecting the dots across various disciplines and functions within a business. By encouraging your team to think beyond their specific roles and understand how their work impacts the broader organization, you can foster a more cohesive and efficient work environment.
2. Implement Kanban for Visual Workflow Management
Using a Kanban board with segments such as To Do, Doing, and Done can significantly improve your team's productivity. This method helps in visualizing the workflow, decluttering tasks, and creating a shared view of the work.
3. Adopt the Rule of Three for Focused Outcomes
Focus on three key outcomes each day, week, and month. This method helps in prioritizing tasks and ensuring that the team is aligned on the most critical objectives.
For more detailed insights, refer to the original articles: The Integrating Generalist and the Art of Connecting the Dots, 30 Day Sprints for Personal Change, and 7 Habits of Highly Motivated People.
Yn gywir, yn adnabyddadwy, ac yn mynegi'n gywir y math o ymresymu sydd yn y corff cynnwys. Ac mae'n dyfynnu'r ffynonellau. Roedd hyn, fel y mae'n amlwg, yn fwy defnyddiol o lawer na'r hyn a gefais ar ôl dyddiau o fine-tuning.
Pam Mae Hyn yn Bwysig
Mae'r gwahaniaeth sylfaenol rhwng fine-tuning a RAG yn ymwneud â natur y broblem rydych chi'n ceisio'i datrys:
- Fine-tuning yw ar gyfer newid ymddygiad y model - sut mae'n ymateb, pa arddull y mae'n ei ddefnyddio, pa dasgau mae'n eu gwneud yn well.
- RAG yw ar gyfer cynnwys - pan fo angen i'r model ateb yn seiliedig ar gronfa ddata o wybodaeth bendant.
Y rhan fwyaf o amser pan fo pobl eisiau "hyfforddi model ar fy neunydd," maen nhw mewn gwirionedd yn ceisio datrys problem RAG, nid problem fine-tuning.
Mae hynny'n wyrdroi yr elfen sylweddol o ddewis dull. RAG yw'r ateb priodol ar gyfer llawer mwy o achosion defnyddio na fine-tuning, ac mae'n llawer cyflymach i sefydlu, yn haws i ddiweddaru, ac yn fwy dehongliadwy o ran ble mae'r ateb yn dod ohono.
Os ydych chi'n ystyried adeiladu AI cymhorthol ar eich cynnwys, dechrwch gyda RAG. Ond os yw eich chwilfrydedd yn mynnu i chi fynd trwy'r broses fine-tuning - bydd yn werth chweil o ran dysgu.
Beth Ddysgais i
- Pe bawn wedi dechrau gyda RAG o'r cychwyn, byddwn wedi arbed oriau lawer - ond mae mynd trwy'r broses wedi rhoi gwerthfawrogiad newydd i mi o faint o waith sydd ynghlwm â fine-tuning llwyddiannus.
- Defnyddiwch WSL ar Windows. Treuliais ormod o amser yn ceisio cael Python a'i ddibyniaeth i weithio'n frodorol. Unwaith i mi alluogi WSL, fe weithiodd yn syth.
- Roedd gweld tymheredd a chosbau ailadrodd mewn gweithrediad go iawn yn agoriad llygad - roeddwn wedi darllen amdanynt, ond mae eu gweld yn y cnawd yn hollol wahanol.
- Mae paratoi data yn allweddol. Byddai treulio mwy o amser yn torri paragraffau hir yn ddarnau ystyrlon - a delio â diagramau a oedd ar goll o'r data - wedi gwneud gwahaniaeth enfawr i'r canlyniadau.
- Defnyddiwch yr offer sydd ar gael! Mae Microsoft wedi gwneud y gwaith caled yn y maes hwn - peidiwch â'i ail-greu.
- Ni fydd GenAI yn disodli JD unrhyw bryd yn fuan! 😁
Parhau i archwilio