Neurala nätverk - Varför så kräver det så mycket datorkraft?

Neurala nätverk används när olinjär regression är i behov. Klassificera bilder, analysera röster och ta ta beslut är vanligt förekommande när det kommer till neurala nätverk.

Men det är egentligen bara linjär algebra + aktivitetsfunktioner = olinjär algebra.

Så varför drar sådant då mycket datorkraft när man ska använda det?

Jag förstår att nätverken komplex. Men det är fortfarande matrisalgebra som neurala nätverk är uppbyggt på. Inget annat.

Curse of dimensionality. Sökrymden blir för stor med för många parametrar för att det ska vara praktiskt att hitta en lösning genom optimering, leta sig fram och evaluera objektivfunktionen gång på gång tills man hittar nära nog till minimum och maximum osv.

Inte bara matriser kan vara simulation av olika system också som är jobbigare att evaluera som fysiksimulationer och dylikt.

Så om det är för många parametrar, det är då det tar tid? Är det under träning eller test?

Det är svårt förklara faktiskt, men det hör mycket ihop med mängden information som ska bearbetas och på vilket sätt den bearbetas för att nå ett slutresultat.

Men tänk dig att man har massor av parametrar. Flera miljoner faktiskt. Sedan ska man "loopa" igenom precis allting.

Det finns en anekdot om schackbrädan. Att när man spelar så har man en otrolig mängd olika alternativ och därför krävs mycket beräkningar för att gå igenom alternativen.

Storleken på det beskrivs nog ganska bra av den fina berättelsen om ett samtal mellan en kung och en av dennes tjänare som skulle få önska sig en belöning.

Han sa att han ville ha riskorn. Ett riskorn på första rutan, sedan två på andra rutan, fyra på tredje rutan och åtta på fjärde... och så fortsätta så till alla rutorna på schackbrädet var avklarade.

Det blev en ofantligt stor mängd riskorn till slut. Lite så fungerar det.

Ja bland annat tror jag. För varje parameter du lägger till i en sökrymd så ökar antalet möjliga kombinationer exponentiellt i princip.

En gång skulle jag packa arbiträra sfärer med rent stokastisk optimering, efter tre sfärer så hittade jag inte mer packningar och i 2d kan man få in fyra, om det ens hade gått praktiskt med min lösning så vet bara fan hur lång tid det kan ta.

Otrådad Python var det implementerat i.

Så hur gör man om man har 1000 bilder på 10 olika objekt. Alltså 10000 bilder totalt.

Gör man ett medelvärde på alla dessa bilder och sedan tränar nätverket? Eller gör man ett medelvärde för varje klass och sedan tränar nätverket för varje bild?

Du bör kolla upp begreppet tidskomplexitet.

Man tränar på varje enskild bild vilket är en delförklaring till att det är så beräkningstungt. Det blir himla mycket även med små bilder.

Träningen är det som tar längst tid. Det är då alla nätverkets parametrar behöver optimeras via både forward propagation och back propagation. Testen tar mycket kortare tid, endast forward propagation.

Det är väl när man ”tränar” modellen som det tar en massa kraft. Efter att man har ett närverk så tar det väl inte så mycket datorkraft att köra frågor mot det?