Egy vezető adattudós szerint a sztochasztikus gradiens süllyedés használatának egyik egyértelmű előnye, hogy gyorsabban elvégzi a számításokat, mint a gradiens süllyedés és a kötegelt gradiens süllyedés … Továbbá Hatalmas adathalmazok esetén a sztochasztikus gradiens süllyedés gyorsabban konvergálhat, mert gyakrabban hajt végre frissítéseket.
Mire használják a sztochasztikus gradiens süllyedést?
A sztochasztikus gradiens süllyedés egy optimalizáló algoritmus, amelyet gyakran használnak gépi tanulási alkalmazásokban, hogy megtalálják azokat a modellparamétereket, amelyek a legjobban illeszkednek az előre jelzett és a tényleges kimenetekhez Ez egy pontatlan, de hatékony technika. A sztochasztikus gradiens süllyedés széles körben használatos a gépi tanulási alkalmazásokban.
Miért kell a sztochasztikus gradiens süllyedést használnunk a standard gradiens süllyedés helyett a konvolúciós neurális hálózat betanításához?
Sztochasztikus gradiens süllyedés frissíti az egyes megfigyelések paramétereit, ami több frissítéshez vezet. Tehát ez egy gyorsabb megközelítés, amely segít a gyorsabb döntéshozatalban. Ebben az animációban különböző irányú gyorsabb frissítések figyelhetők meg.
Miért részesítjük előnyben a gradiens süllyedést?
A fő ok, amiért a gradiens süllyedést használják a lineáris regresszióhoz, a számítási összetettség: számításilag olcsóbb (gyorsabb) a megoldást a gradiens süllyedés segítségével találni bizonyos esetekben. Itt ki kell számítania az X′X mátrixot, majd invertálnia (lásd lentebb). Ez egy drága számítás.
Miért használják az SGD-t?
A sztochasztikus gradiens süllyedés (gyakran rövidítve SGD) egy iteratív módszer egy megfelelő simasági tulajdonságokkal rendelkező célfüggvény optimalizálására (pl. differenciálható vagy szubdifferenciálható).
