Z praktického hľadiska má L1 tendenciu zmenšovať koeficienty na nulu, zatiaľ čo L2 má tendenciu zmenšovať koeficienty rovnomerne. L1 je preto užitočný na výber vlastností, pretože môžeme vypustiť akékoľvek premenné spojené s koeficientmi, ktoré idú na nulu. Na druhej strane L2 je užitočná, keď máte kolineárne/kolineárne funkcie.
Ako sa používa regularizácia Čo je to regularizácia L1 a L2?
Upravenie L1 poskytuje výstup v binárnych váhach od 0 do 1 pre funkcie modelu a používa sa na zníženie počtu prvkov v obrovskom rozmerovom súbore údajov. Regulácia L2 rozptýli chybové výrazy vo všetkých váhach, čo vedie k presnejším prispôsobeným finálnym modelom.
Aké sú rozdiely medzi regularizáciou L1 a L2?
Hlavný intuitívny rozdiel medzi regularizáciou L1 a L2 je v tom, že regulácia L1 sa snaží odhadnúť medián údajov, zatiaľ čo regularizácia L2 sa snaží odhadnúť priemer údajov, aby sa predišlo preplneniu. … Táto hodnota bude matematicky aj mediánom distribúcie údajov.
Čo je regularizácia L1 a L2 v hlbokom učení?
Regulácia L2 je tiež známa ako úbytok hmotnosti, pretože núti závažia klesať smerom k nule (ale nie presne k nule). V L1 máme: V tomto penalizujeme absolútnu hodnotu váh. Na rozdiel od L2 tu môžu byť hmotnosti znížené na nulu. Preto je veľmi užitočný, keď sa snažíme komprimovaťnáš model.
Ako funguje regularizácia L1 a L2?
Regresný model, ktorý využíva techniku regularizácie L1, sa nazýva lasová regresia a model, ktorý používa L2, sa nazýva Ridgeova regresia. Kľúčový rozdiel medzi týmito dvoma je trestná lehota. Ridge regresia pridáva „druhú mocninu“koeficientu ako penalizačný člen k stratovej funkcii.
