Mašīnmācīšanās, dziļā mācīšanās apakškategorijā tiek izmantoti daudzslāņu neironu tīkli, lai vēsturiski sarežģītus mašīnu uzdevumus - piemēram, attēlu atpazīšanu, dabiskās valodas apstrādi (NLP) un mašīntulkošanu - automatizētu mērogā.
TensorFlow, kas 2015. gadā parādījās no Google, ir bijusi vispopulārākā atklātā pirmkoda dziļās izglītības sistēma gan pētniecībai, gan uzņēmējdarbībai. Bet PyTorch, kas 2016. gadā parādījās no Facebook, ir ātri panācis, pateicoties kopienas virzītiem uzlabojumiem lietošanas ērtumā un izvietošanā, lai paplašinātu lietojuma gadījumu klāstu.
PyTorch automobiļu nozarē ir īpaši spēcīgi pārņemts, kur to var piemērot autonomām pilotēšanas sistēmām, piemēram, Tesla un Lyft 5. līmenim. Sistēma tiek izmantota arī satura klasifikācijai un ieteikumiem plašsaziņas līdzekļu uzņēmumos, kā arī robotu atbalstam. rūpnieciskos pielietojumos.
Džo Spisaks, mākslīgā intelekta produktu vadītājs Facebook AI, pastāstīja, ka, lai arī viņš ir apmierināts ar PyTorch uzņēmuma ieviešanas pieaugumu, joprojām ir daudz darāmā, lai iegūtu plašāku nozares pārņemšanu.
"Nākamais pieņemšanas vilnis nāks ar dzīves cikla pārvaldības, MLOps un Kubeflow cauruļvadu un apkārtējās sabiedrības iespēju nodrošināšanu," viņš teica. "Tiem, kas atrodas ceļojuma sākumā, rīki ir diezgan labi, lai sāktu darbu, izmantojot pārvaldītus pakalpojumus un dažus atvērtā koda datus, piemēram, SageMaker AWS vai Azure ML."
Disnejs: animētu seju noteikšana filmās
Kopš 2012. gada mediju giganta Disneja inženieri un datu zinātnieki ir veidojuši to, ko uzņēmums sauc par satura genomu - zināšanu grafiku, kas satura metadatus apvieno ar mašīnmācīšanos balstītas meklēšanas un personalizācijas lietojumprogrammām visā Disneja masveida satura bibliotēkā.
“Šie metadati uzlabo rīkus, kurus Disneja stāstnieki izmanto satura veidošanai; iedvesmot iteratīvu radošumu stāstos; enerģijas lietotāju pieredze, izmantojot ieteikumu dzinējus, digitālo navigāciju un satura atklāšanu; un iespējojiet biznesa inteliģenci, ”jūlija bloga ierakstā rakstīja Disneja izstrādātāji Miquel gelngel Farré, Anthony Accardo, Marc Junyent, Monica Alfaro un Cesc Guitart.
Pirms tas varēja notikt, Disnejam bija jāiegulda plašā satura anotācijas projektā, vēršoties pie saviem datu zinātniekiem, lai apmācītu automatizētu marķēšanas cauruļvadu, izmantojot dziļu mācību modeļus attēlu atpazīšanai, lai identificētu milzīgu daudzumu cilvēku, rakstzīmju un vietu attēlus.
Disneja inženieri sāka eksperimentēt ar dažādiem ietvariem, tostarp TensorFlow, taču nolēma konsolidēties ap PyTorch 2019. gadā. Inženieri no tradicionālās orientēto gradientu (HOG) pazīmju aprakstītāja un populārā atbalsta vektoru mašīnu (SVM) modeļa pārgāja uz versiju. objektu noteikšanas arhitektūras dublētie reģioni ar konvolucionālajiem neironu tīkliem (R-CNN). Pēdējais bija labvēlīgāks, lai apstrādātu tiešraides, animācijas un vizuālo efektu kombinācijas, kas izplatītas Disneja saturā.
"Karikatūrā ir grūti noteikt, kas ir seja, tāpēc mēs pārgājām uz dziļām mācīšanās metodēm, izmantojot objektu detektoru, un izmantojām pārneses mācīšanos," paskaidroja Disneja pētījumu inženieris Monika Alfaro. Pēc tikai dažu tūkstošu seju apstrādes jaunais modelis jau plaši identificēja sejas visos trīs lietošanas gadījumos. To sāka ražot 2020. gada janvārī.
"Mēs tagad izmantojam tikai vienu modeli trīs veidu sejām, un tas ir lieliski, lai startētu tādās Marvel filmas kā Atriebēji, kur tai jāatpazīst gan Dzelzs vīrs, gan Tonijs Stārks vai jebkurš varonis, kurš valkā masku," viņa teica.
Tā kā inženieri nodarbojas ar tik lielu video datu apjomu, lai apmācītu un darbinātu modeli paralēli, viņi, pārejot uz ražošanu, vēlējās darboties arī ar dārgiem, augstas veiktspējas GPU.
Pāreja no centrālajiem procesoriem ļāva inženieriem ātrāk apmācīt un atjaunināt modeļus. Tas arī paātrināja rezultātu izplatīšanu dažādām Disneja grupām, samazinot filmas apstrādes laiku no aptuveni vienas stundas, līdz šodienai sasniedzot rezultātus no piecām līdz 10 minūtēm.
"TensorFlow objektu detektors radīja atmiņas problēmas ražošanā, un to bija grūti atjaunināt, savukārt PyTorch bija tāds pats objektu detektors un Faster-RCNN, tāpēc mēs sākām izmantot PyTorch visam," sacīja Alfaro.
Pārslēgšanās no viena ietvara uz otru bija pārsteidzoši vienkārša arī inženieru komandai. "Mainīt [uz PyTorch] bija viegli, jo tas viss ir iebūvēts, jūs pievienojat tikai dažas funkcijas un varat sākt ātri, tāpēc tā nav strauja mācīšanās līkne," sacīja Alfaro.
Kad viņi tikuši galā ar jebkādiem jautājumiem vai sastrēgumiem, aktīvā PyTorch kopiena bija gatavi palīdzēt.
Blue River tehnoloģija: nezāļu iznīcināšanas roboti
Blue River Technology ir izstrādājis robotu, kas izmanto pārsteidzošu digitālās ceļa noteikšanas, integrēto kameru un datora redzamības kombināciju, lai nezāles izsmidzinātu ar herbicīdiem, vienlaikus gandrīz reālā laikā atstājot kultūras vienatnē, palīdzot lauksaimniekiem efektīvāk saglabāt dārgus un videi kaitīgus herbicīdus.
Kalifornijas štata uzņēmums Sunnyvale smago iekārtu ražotājam John Deere pievērsa uzmanību 2017. gadā, kad tas tika iegādāts par 305 miljoniem ASV dolāru ar mērķi integrēt tehnoloģiju savā lauksaimniecības aprīkojumā.
Zilās upes pētnieki eksperimentēja ar dažādiem dziļu mācību ietvariem, mēģinot apmācīt datorvīzijas modeļus, lai atpazītu atšķirību starp nezālēm un kultūrām, kas ir milzīgs izaicinājums, kad jums ir darīšana ar kokvilnas augiem, kuriem ir žēl līdzība ar nezālēm.
Tika sagatavoti augsti apmācīti agronomi, kas veica manuālus attēlu marķēšanas uzdevumus un apmācīja konvolucionālo neironu tīklu (CNN), izmantojot PyTorch, “lai analizētu katru kadru un izveidotu pikseļu precīzu karti, kur atrodas labība un nezāles”, Kriss Padviks, datoru direktors vīzija un mašīnmācība Blue River Technology, rakstīja bloga augustā.
"Tāpat kā citi uzņēmumi, mēs izmēģinājām Caffe, TensorFlow un pēc tam PyTorch," stāstīja Padviks. "Tas mums diezgan labi darbojas. Mums vispār nav ziņojumu par kļūdām vai bloķēšanas kļūda. Sadalītajā aprēķinā tas patiešām spīd un ir vieglāk lietojams nekā TensorFlow, kas datu paralēlismam bija diezgan sarežģīts. ”
Padviks saka, ka PyTorch ietvara popularitāte un vienkāršība dod viņam priekšrocības, kad ātri jāpieņem jauni darbinieki. Tas nozīmē, ka Padviks sapņo par pasauli, kurā “cilvēki attīstās visur, kur viņiem patīk. Dažiem patīk Apache MXNet vai Darknet vai Caffe pētniecībai, taču ražošanā tam jābūt vienā valodā, un PyTorch ir viss nepieciešamais, lai gūtu panākumus. ”
Datarock: Mākoņu bāzes attēlu analīze kalnrūpniecības nozarei
Ģeozinātnieku grupas dibināts Austrālijas jaunizveidotais uzņēmums Datarock kalnrūpniecībā izmanto datoru redzes tehnoloģiju. Konkrētāk, tā padziļinātās mācīšanās modeļi palīdz ģeologiem ātrāk nekā iepriekš analizēt pamata paraugu attēlus.
Parasti, lai novērtētu mineraloģiju un struktūru, ģeologs pāraugtu šos paraugus centimetros pa centimetriem, savukārt inženieri meklētu tādas fiziskas pazīmes kā kļūdas, lūzumi un klinšu kvalitāte. Šis process ir gan lēns, gan pakļauts cilvēka kļūdām.
"Dators var redzēt klintis, kā to redzētu inženieris," sacīja Brentons Kraufords, Datarokas COO. "Ja jūs to redzat attēlā, mēs varam apmācīt modeli, lai to analizētu, kā arī cilvēku."
Līdzīgi kā Blue River, Dataroks ražošanā izmanto RCNN modeļa variantu, pētniekiem pievēršoties datu papildināšanas metodēm, lai agrīnās stadijās savāktu pietiekami daudz apmācības datu.
“Pēc sākotnējā atklāšanas perioda komanda ķērās pie tehniku apvienošanas, lai izveidotu attēlu apstrādes darbplūsmu pamata attēlu urbšanai. Tas ietvēra virkni dziļu mācību modeļu, kas varētu neapstrādātus attēlus apstrādāt strukturētā formātā un segmentēt svarīgo ģeoloģisko informāciju, ”raksta pētnieki emuāra ziņā.
Izmantojot Datarock tehnoloģiju, klienti var sasniegt rezultātus pusstundas laikā, nevis piecas vai sešas stundas, kas nepieciešamas, lai konstatējumus reģistrētu manuāli. Tas atbrīvo ģeologus no viņu darbietilpīgākajām daļām, sacīja Krofords. Tomēr, "kad mēs automatizējam lietas, kas ir sarežģītākas, mēs zinām, ka mums ir zināms spiediens, un mums ir jāpaskaidro, ka tie ir daļa no šīs sistēmas, lai apmācītu modeļus un panāktu, ka atgriezeniskās saites cilpa kļūst".
Tāpat kā daudzi uzņēmumi, kas māca dziļi apgūt datorvīzijas modeļus, arī Dataroks sāka darbu ar TensorFlow, taču drīz pārgāja uz PyTorch.
"Sākumā mēs izmantojām TensorFlow, un tas noslēpumainu iemeslu dēļ ietriecās mūsos," pastāstīja Dajs Tins Truongs, mašīnmācīšanās vadītājs Datarokā. "Tajā laikā PyTorch un Detecton2 tika izlaisti un labi pielāgoti mūsu vajadzībām, tāpēc pēc dažiem testiem mēs redzējām, ka ir vieglāk atkļūdot un strādāt, kā arī aizņemts mazāk atmiņas, tāpēc mēs pārveidojāmies," viņš teica.
Dataroks ziņoja arī par 4x uzlabojumu secināšanas veiktspējā no TensorFlow līdz PyTorch un Detectron2, darbinot modeļus ar GPU - un 3x uz CPU.
Kā pārslēgšanās iemeslu Truong minēja arvien pieaugošo PyTorch kopienu, labi izstrādātu saskarni, ērtu lietošanu un labāku atkļūdošanu, un atzīmēja, ka, lai arī “no saskarnes viedokļa tie ir diezgan atšķirīgi, ja jūs zināt TensorFlow, to ir diezgan viegli pārslēgt. , it īpaši, ja jūs zināt Python. ”
