Programmēšana

“Google meklēšana ar steroīdiem” izgaismo tumšo tīmekli

Valdības aģentūra, kas mums atveda internetu, tagad ir izstrādājusi jaunu jaudīgu meklētājprogrammu, kas izgaismo tā sauktā dziļā tīmekļa saturu.

Aizsardzības progresīvo pētījumu projektu aģentūra (DARPA) pirms gada sāka darbu pie Memex Deep Web meklētājprogrammas un šonedēļ iepazīstināja ar saviem rīkiem Scientific American un "60 Minutes".

Memex, kuru izstrādā 17 dažādas darbuzņēmēju komandas, mērķis ir izveidot labāku interneta satura karti un atklāt tiešsaistes datu modeļus, kas varētu palīdzēt likumsargiem un citiem. Lai gan agrīnā izmēģinājumā galvenā uzmanība tika pievērsta cilvēku tirgotāju kustības kartēšanai, šo tehnoloģiju kādu dienu varētu izmantot tādiem izmeklēšanas centieniem kā pretterorisms, bezvēsts pazuduši cilvēki, reaģēšana uz slimībām un palīdzība katastrofās.

DARPA informācijas inovāciju biroja direktors Dens Kaufmans saka, ka Memex ir visu, lai padarītu neredzēto redzamu. "Internets ir daudz, daudz lielāks nekā cilvēki domā," DARPA programmas vadītājs Kriss Vaits sacīja "60 minūtes". "Pēc dažām aplēsēm Google, Microsoft Bing un Yahoo mums ļauj piekļūt tikai aptuveni 5 procentiem no tīmekļa satura."

Google un Bing rada rezultātus, pamatojoties uz popularitāti un rangu, taču Memex meklē saturu, ko parasti ignorē komerciālās meklētājprogrammas, piemēram, nestrukturētus datus, nesaistītu saturu, pagaidu lapas, kas tiek noņemtas, pirms komerciālās meklētājprogrammas var tās pārmeklēt, un tērzēšanas forumus. Parastās meklētājprogrammas ignorē šos dziļos tīmekļa datus, jo tīmekļa reklāmdevēji - kur pārlūku uzņēmumi pelna naudu - par tiem neinteresējas.

Memex arī automatizē tumšā jeb anonīma tīmekļa pārmeklēšanas mehānismu, kur noziedznieki veic uzņēmējdarbību. Šīs slēptās pakalpojumu lapas, kurām var piekļūt tikai caur TOR anonimizējošu pārlūku, parasti darbojas saskaņā ar tiesībaizsardzības iestāžu radaru, pārdodot nelegālas narkotikas un citas kontrabandas preces. Ja reiz tika uzskatīts, ka tumšās tīmekļa aktivitātes sastāv no aptuveni 1000 lapām, Vaits teica Scientific American, ka tumšās tīmekļa lapas var būt no 30 000 līdz 40 000.

Līdz šim bija grūti apskatīt šīs vietnes jebkādā sistēmiskā veidā. Bet Memex - kuru Manhetenas DA Cyrus Vance Jr. sauc par "Google meklēšanu steroīdos" - ne tikai indeksē to saturu, bet arī analizē to, lai atklātu slēptas attiecības, kas varētu būt noderīgas tiesībaizsardzībai.

DARPA meklēšanas rīki tika ieviesti, lai izvēlētos tiesībaizsardzības aģentūras pagājušajā gadā, tostarp Manhetenas jauno cilvēku tirdzniecības reaģēšanas vienību. Memex tagad tiek izmantots visos cilvēktirdzniecības gadījumos, ko tā veic, un tam ir bijusi loma vismaz 20 izmeklēšanā par seksu tirdzniecību. Pārlādētais tīmekļa rāpuļprogramma var noteikt attiecības starp dažādiem datiem un izveidot datu kartes, kas palīdz izmeklētājiem atklāt modeļus.

Demonstrācijā "60 minūtes" Vaits parādīja, kā Memex spēj izsekot cilvēku tirgotāju kustībai, pamatojoties uz datiem, kas saistīti ar tiešsaistes reklāmām par seksu. "Dažreiz tā ir IP adreses funkcija, bet dažreiz tā ir tālruņa numura vai adreses funkcija reklāmā vai ierīces izvietojums, kas ievietoja sludinājumu," sacīja Vaits. "Dažreiz ir citi artefakti, kas veicina atrašanās vietas noteikšanu."

Vaits uzsvēra, ka Memex neizmanto hakeru, lai iegūtu informāciju. "Ja kaut kas ir aizsargāts ar paroli, tas nav publisks saturs, un Memex to nemeklē," viņš teica Scientific American. "Mēs nevēlējāmies nevajadzīgi mākoņot šo darbu, ievelkot snooping un novērošanas rēgu" - aizkustinošs objekts pēc Edvarda Snoudena NSA atklāsmēm.

Memex ieguva savu nosaukumu ("atmiņas" un "indeksa" kombināciju) un iedvesmu no hipotētiskas ierīces, kuru 1945. gadā aprakstīja Vannevars Bušs, kas paredzēja datoru, interneta un citu nozīmīgu IT sasniegumu nākamo 70 gadu laikā. Šķiet, ka DARPA un Memex gatavojas mūs tuvināt Filipa Dika futūristiskajai policijas nodaļai, kas attēlota "Minority Report".

Jauna testu kārta, kas sāksies pēc dažām nedēļām, ietvers federālos un rajonu prokurorus, reģionālās un valsts tiesībaizsardzības iestādes un vairākas NVO. Saskaņā ar Scientific American ziņojumu tā mērķis ir "pārbaudīt jaunas attēlu meklēšanas iespējas, kas var analizēt fotoattēlus pat tad, ja tiek apmulsinātas daļas, kas varētu palīdzēt izmeklētājiem - tostarp tirgotāju sejas vai fonā redzams televīzijas ekrāns".

Izgudrojot labākus veidus, kā mijiedarboties un iepazīstināt ar informāciju, kas savākta no lielāka avotu kopuma, "mēs vēlamies uzlabot visu meklēšanu. Būtiska ir vienkārša izmantošanas iespēja programmētājiem," sacīja Vaits.