Divi lielākie šķēršļi mašīnmācīšanās izmantošanā (gan klasiskā mašīnmācīšanās, gan dziļā mācīšanās) ir prasmes un skaitļošanas resursi. Otro problēmu varat atrisināt, izmetot tajā naudu, vai nu iegādājoties paātrinātu aparatūru (piemēram, datorus ar augstākās klases GPU), vai arī mākoņa skaitļošanas resursu nomai (piemēram, gadījumus ar pievienotiem GPU, TPU un FPGA).
No otras puses, prasmju problēmas risināšana ir grūtāka. Datu zinātnieki bieži pavada pamatīgas algas, un viņus joprojām var būt grūti pieņemt darbā. Google spēja apmācīt daudzus savus darbiniekus savā TensorFlow sistēmā, taču lielākajai daļai uzņēmumu ir tikko pietiekami daudz prasmju, lai paši izveidotu mašīnmācīšanos un padziļinātas mācīšanās modeļus, vēl jo vairāk - citus.
Kas ir AutoML?
Automatizētās mašīnmācīšanās jeb AutoML mērķis ir samazināt vai novērst nepieciešamību pēc kvalificētiem datu zinātniekiem veidot mašīnmācīšanās un padziļinātas mācīšanās modeļus. Tā vietā AutoML sistēma ļauj ievadīt marķētos apmācības datus kā ievadi un saņemt optimizētu modeli kā izvadi.
Ir vairāki veidi, kā to izdarīt. Viena pieeja ir, ka programmatūra vienkārši apmāca visu veidu modeli ar datiem un izvēlas to, kurš darbojas vislabāk. To varētu uzlabot, ja tā izveidotu vienu vai vairākus ansambļu modeļus, kas apvieno pārējos modeļus, kas dažreiz (bet ne vienmēr) dod labākus rezultātus.
Otrais paņēmiens ir labākā modeļa vai modeļu hiperparametru (paskaidrots tālāk) optimizēšana, lai apmācītu vēl labāku modeli. Funkciju inženierija (arī paskaidrota tālāk) ir vērtīgs papildinājums jebkurai modeļa apmācībai. Viens no dziļās mācīšanās prasmju atņemšanas veidiem ir mācīšanās ar pārsūtīšanu, būtībā pielāgojot labi apmācītu vispārējo modeli konkrētiem datiem.
Kas ir hiperparametru optimizācija?
Visiem mašīnmācīšanās modeļiem ir parametri, kas nozīmē katra mainīgā vai modeļa elementa svaru. Parasti tos nosaka kļūdu pavairošana atpakaļ, kā arī atkārtojums optimizētāja kontrolē, piemēram, stohastiskā gradienta nolaišanās.
Lielākajai daļai mašīnmācīšanās modeļu ir arī hiperparametri, kas ir iestatīti ārpus apmācības cikla. Tie bieži ietver mācīšanās ātrumu, pamešanas biežumu un modeļiem raksturīgus parametrus, piemēram, koku skaitu izlases mežā.
Hiperparametru pielāgošana vai hiperparametru optimizācija (HPO) ir automātisks veids, kā slaucīt vai meklēt vienu vai vairākus modeļa hiperparametrus, lai atrastu kopu, kuras rezultāts ir vislabāk apmācītais modelis. Tas var būt laikietilpīgi, jo jums vēlreiz jāapmāca modelis (iekšējā cilpa) katram slaucīšanas (ārējā cilpa) hiperparametru vērtību kopumam. Ja paralēli trenējat daudzus modeļus, varat samazināt nepieciešamo laiku uz vairāk aparatūras izmantošanas rēķina.
Kas ir funkciju inženierija?
A iezīme ir novērojama fenomena individuāls izmērāms īpašums vai raksturojums. “Pazīmes” jēdziens ir saistīts ar skaidrojošā mainīgā jēdzienu, ko izmanto tādās statistikas metodēs kā lineārā regresija. A iezīmju vektors apvieno visas vienas rindas funkcijas skaitliskā vektorā. Funkciju inženierija ir process, kurā tiek atrasts labākais mainīgo lielumu kopums un vislabākā datu kodēšana un normalizēšana ievadei modeļa apmācības procesā.
Daļa no iezīmju izvēles mākslas ir izvēlēties minimālo komplektu neatkarīgs mainīgie, kas izskaidro problēmu. Ja divi mainīgie ir ļoti korelēti, vai nu tie jāapvieno vienā pazīmē, vai arī viens ir jānomet. Dažreiz cilvēki veic galveno komponentu analīzi (PCA), lai korelētos mainīgos pārveidotu par lineāri nekorrelētu mainīgo lielumu kopumu.
Lai mašīnu klasifikācijai izmantotu kategoriskus datus, teksta etiķetes jākodē citā formā. Ir divi kopīgi kodējumi.
Viens ir etiķetes kodējums, kas nozīmē, ka katra teksta etiķetes vērtība tiek aizstāta ar skaitli. Otrs ir vienas karstās kodēšana, kas nozīmē, ka katra teksta etiķetes vērtība tiek pārvērsta kolonnā ar bināro vērtību (1 vai 0). Lielākajai daļai mašīnmācīšanās ietvaru ir funkcijas, kas pārveido jūsu vietā. Parasti priekšroka tiek dota vienreizējai kodēšanai, jo etiķešu kodēšana dažkārt var sajaukt mašīnmācīšanās algoritmu domājot, ka kodētā kolonna ir sakārtota.
Lai izmantotu skaitliskos datus mašīnas regresijai, parasti dati ir jā normalizē. Pretējā gadījumā skaitļiem ar lielākiem diapazoniem varētu būt tendence dominēt Eiklida distancē starp iezīmju vektoriem, to ietekmi varētu palielināt uz citu lauku rēķina, un visstingrākajai nolaišanās optimizācijai varētu būt grūtības saplūst. Ir vairāki veidi, kā normalizēt un standartizēt datus mašīnmācībai, tostarp min-max normalizācija, vidējā normalizācija, standartizācija un mērogošana pēc vienības garuma. Šo procesu bieži sauc funkciju mērogošana.
Dažas no transformācijām, kuras cilvēki izmanto, lai izveidotu jaunas funkcijas vai samazinātu iezīmju vektoru dimensiju, ir vienkāršas. Piemēram, atņemt Dzimšanas gads no Nāves gads un jūs konstruējat Vecums pie nāves, kas ir galvenais neatkarīgais mainīgais mūža un mirstības analīzei. Citos gadījumos funkciju uzbūve var nebūt tik acīmredzama.
Kas ir pārejas mācība?
Mācību pārnešanu dažreiz sauc par pielāgotu mašīnmācīšanos, un dažreiz to sauc par AutoML (galvenokārt Google). Apmācot modeļus no jūsu datiem, Google Cloud AutoML tā vietā, lai sāktu no nulles, tiek veikta automātiska dziļās pārsūtīšanas mācīšanās (tas nozīmē, ka tā sākas no esoša dziļa neironu tīkla, kas apmācīts citiem datiem) un neironu arhitektūras meklēšana (tas nozīmē, ka tā atrod pareizo papildu tīkla slāņi) valodu pāru tulkošanai, dabisko valodu klasifikācijai un attēlu klasifikācijai.
Tas ir atšķirīgs process, nekā parasti nozīmē AutoML, un tas neattiecas uz tik daudziem lietošanas gadījumiem. No otras puses, ja jums ir nepieciešams pielāgots padziļinātas mācīšanās modelis atbalstāmā apgabalā, pārsūtīšanas mācības bieži rada augstāku modeli.
AutoML ieviešana
Varat izmēģināt daudzas AutoML ieviešanas iespējas. Daži no tiem ir maksas pakalpojumi, un citi ir bezmaksas pirmkods. Turpmāk minētie saraksti nebūt nav pilnīgi vai galīgi.
AutoML pakalpojumi
Visiem lielajiem trim mākoņpakalpojumiem ir sava veida AutoML. Amazon SageMaker veic hiperparametru regulēšanu, bet automātiski neizmēģina vairākus modeļus vai veic funkciju inženieriju. Azure Machine Learning ir gan AutoML, kas piedāvā iespējas un algoritmus, gan hiperparametru iestatīšana, kuru parasti darbināt ar labāko AutoML izvēlēto algoritmu. Google mākoņa AutoML, kā es iepriekš apspriedu, ir padziļināta mācīšanās valodu pāru tulkošanai, dabiskās valodas klasifikācijai un attēlu klasifikācijai.
Vairāki mazāki uzņēmumi piedāvā arī AutoML pakalpojumus. Piemēram, DataRobot, kas apgalvo, ka ir izgudrojis AutoML, tirgū ir spēcīga reputācija. Lai gan dotData ir niecīga tirgus daļa un viduvējs lietotāja interfeiss, tam ir spēcīgas iezīmju inženierijas iespējas un tas aptver daudzus uzņēmuma izmantošanas gadījumus. H2O.ai AI bez vadītāja, kuru es pārskatīju 2017. gadā, var palīdzēt datu zinātniekam izrādīties tādos modeļos kā Kaggle meistars, veicot funkciju inženieriju, algoritmu slaucīšanu un hiperparametru optimizāciju vienotā veidā.
AutoML ietvari
AdaNet ir viegla sistēma, kas balstīta uz TensorFlow, lai automātiski apgūtu augstas kvalitātes modeļus ar minimālu ekspertu iejaukšanos. Auto-Keras ir atvērtā pirmkoda programmatūras bibliotēka automatizētai mašīnmācībai, kas izstrādāta Teksasas A&M un nodrošina funkcijas, lai automātiski meklētu dziļu mācību modeļu arhitektūru un hiperparametrus. NNI (Neural Network Intelligence) ir Microsoft rīku komplekts, kas palīdz lietotājiem efektīvi un automātiski izstrādāt un pielāgot mašīnmācīšanās modeļus (piemēram, hiperparametrus), neironu tīkla arhitektūras vai sarežģītas sistēmas parametrus.
GitHub vietnē varat atrast papildu AutoML projektus un diezgan pilnīgu un aktuālu dokumentu sarakstu par AutoML.
