Kas ir izplatīšanas hipotēze?

Izplatības hipotēzi pirmais ierosināja britu valodnieks JR Fērts. Viņš ir pazīstams ar slavenāko citātu par ideju “Jūs zināt vārdu no uzņēmuma, kuru tas glabā.” Fērts, kurš ir labi pazīstams arī ar saviem pētījumiem par prozodiju, uzskatīja, ka neviena sistēma nekad nepaskaidros, kā valoda darbojas. Tā vietā viņš uzskatīja, ka būtu vajadzīgas vairākas sistēmas, kas pārklājas.

Amerikāņu valodnieks Zelligs Heriss balstījās uz Fērta darbu. Viņš vēlējās izmantot matemātiku, lai pētītu un analizētu lingvistiskos datus. Viņa idejas par matemātikas ieguldījumu šādos pētījumos ir svarīgas, taču viņš ir pazīstams arī ar to, ka savas dzīves laikā ir aptvēris plašu lingvistisko ideju klāstu.

Izplatības hipotēzes pētījumi ir daļa no lingvistikas pārbaudes. Liela apjoma valodas datu izsijāšanai tiek izmantotas matemātiskās un statistikas metodes, nevis lingvistiskās. Tādējādi tas nozīmē, ka sadalījuma hipotēze ir daļa no skaitļošanas lingvistikas un statistiskās semantikas. Tas ir saistīts arī ar valodnieku un lingvistikas filozofu idejām par bērnu dzimtās valodas attīstību, kas pazīstams kā valodas apguve.

Statistiskā semantika izmanto matemātiskos algoritmus, lai pētītu vārdu sadalījumu. Pēc tam šie rezultāti tiek filtrēti pēc nozīmes un tālāk tiek pētīti, lai noskaidrotu pēc nozīmes saistīto vārdu sadalījumu. Pastāv divas galvenās statistiskās semantikas metodes: sadalījums pēc vārdu klasteriem un pēc teksta apgabaliem.

Pētot vārdu sadalījumu pa saistītu nozīmju kopām, sauc par hipertelpas analogo valodai (HAL). HAL pārbauda tekstā sagrupētu vārdu attiecības. Tas var būt teikuma vai rindkopas iekšienē, bet reti tālāk par to. Vārdu semantisko sadalījumu nosaka tas, cik bieži vārdi atrodas blakus.

Visa teksta pētījumos tiek izmantota latentā semantiskā analīze (LSA). Šī ir dabiska valodas apstrādes metode. Vārdi ar tuvu nozīmi visā tekstā atradīsies tuvu viens otram. Šādi teksti tiek pārbaudīti attiecībā uz klasteriem, izmantojot matemātisko metodi, ko sauc par Singular Value Decompression (SVD).

Dati, kas iegūti no izplatīšanas hipotēzes pētījumiem, tiek izmantoti, lai pētītu semantikas un vārdu attiecību pamatelementus. Pārsniedzot strukturālisma pieeju, hipotēzi var attiecināt uz mākslīgo intelektu (AI). Tas palīdzētu datorprogrammām labāk izprast vārdu attiecības un izplatību. Tas ietekmē arī to, kā bērni apstrādā vārdus un veido vārdu asociācijas un teikumus.