Logo hu.boatexistence.com

Miért sztochasztikus gradiens süllyedés?

Tartalomjegyzék:

Miért sztochasztikus gradiens süllyedés?
Miért sztochasztikus gradiens süllyedés?

Videó: Miért sztochasztikus gradiens süllyedés?

Videó: Miért sztochasztikus gradiens süllyedés?
Videó: Stochastic Gradient Descent, Clearly Explained!!! 2024, Lehet
Anonim

Egy vezető adattudós szerint a sztochasztikus gradiens süllyedés használatának egyik egyértelmű előnye, hogy gyorsabban elvégzi a számításokat, mint a gradiens süllyedés és a kötegelt gradiens süllyedés … Továbbá Hatalmas adathalmazok esetén a sztochasztikus gradiens süllyedés gyorsabban konvergálhat, mert gyakrabban hajt végre frissítéseket.

Mire használják a sztochasztikus gradiens süllyedést?

A sztochasztikus gradiens süllyedés egy optimalizáló algoritmus, amelyet gyakran használnak gépi tanulási alkalmazásokban, hogy megtalálják azokat a modellparamétereket, amelyek a legjobban illeszkednek az előre jelzett és a tényleges kimenetekhez Ez egy pontatlan, de hatékony technika. A sztochasztikus gradiens süllyedés széles körben használatos a gépi tanulási alkalmazásokban.

Miért kell a sztochasztikus gradiens süllyedést használnunk a standard gradiens süllyedés helyett a konvolúciós neurális hálózat betanításához?

Sztochasztikus gradiens süllyedés frissíti az egyes megfigyelések paramétereit, ami több frissítéshez vezet. Tehát ez egy gyorsabb megközelítés, amely segít a gyorsabb döntéshozatalban. Ebben az animációban különböző irányú gyorsabb frissítések figyelhetők meg.

Miért részesítjük előnyben a gradiens süllyedést?

A fő ok, amiért a gradiens süllyedést használják a lineáris regresszióhoz, a számítási összetettség: számításilag olcsóbb (gyorsabb) a megoldást a gradiens süllyedés segítségével találni bizonyos esetekben. Itt ki kell számítania az X′X mátrixot, majd invertálnia (lásd lentebb). Ez egy drága számítás.

Miért használják az SGD-t?

A sztochasztikus gradiens süllyedés (gyakran rövidítve SGD) egy iteratív módszer egy megfelelő simasági tulajdonságokkal rendelkező célfüggvény optimalizálására (pl. differenciálható vagy szubdifferenciálható).

Ajánlott: