Vad är ett Holdout-set? Ibland hänvisas till som "testningsdata", en holdout-delmängd ger en slutlig uppskattning av maskininlärningsmodellens prestanda efter att den har tränats och validerats. Holdout-set ska aldrig användas för att fatta beslut om vilka algoritmer som ska användas eller för att förbättra eller ställa in algoritmer.
Är korsvalidering bättre än holdout?
Krossvalidering är vanligtvis den metod som föredras eftersom det ger din modell möjlighet att träna på flera tågtestdelar. Detta ger dig en bättre indikation på hur bra din modell kommer att prestera på osynliga data. Hold-out, å andra sidan, är beroende av bara en tågprovdelning.
Vad är holdout-metoden?
Holdout-metoden är den enklaste typen av metod för att utvärdera en klassificerare. I den här metoden delas datamängden (en samling av dataobjekt eller exempel) upp i två uppsättningar, kallade träningsuppsättningen och testuppsättningen. En klassificerare utför funktionen att tilldela dataobjekt i en given samling till en målkategori eller klass.
Ska jag alltid göra korsvalidering?
I allmänhet behövs korsvalidering alltid när du behöver bestämma de optimala parametrarna för modellen, för logistisk regression skulle detta vara C-parametern.
Vad är fördelen med K-faldig korsvalidering?
om du jämför test-MSE är bättre vid k-faldig CV än LOOCV. k-faldig CV eller någon CV eller omsamplingsmetoder gör det inteförbättra testfel. de uppskattar testfel. vid k-veckning gör den bättre feluppskattning än LOOCV.
