Kategorisk korsentropi är en förlustfunktion som används i klassificeringsuppgifter i flera klasser. Det är uppgifter där ett exempel bara kan tillhöra en av många möjliga kategorier, och modellen måste avgöra vilken. Formellt är den designad för att kvantifiera skillnaden mellan två sannolikhetsfördelningar.
Varför använda korsentropi istället för MSE?
För det första är Cross-entropy (eller softmax-förlust, men cross-entropy fungerar bättre) ett bättre mått än MSE för klassificering, eftersom beslutsgränsen i en klassificeringsuppgift är stor(i jämförelse med regression). … För regressionsproblem skulle du nästan alltid använda MSE.
Vad är skillnaden mellan gles korsentropi och kategorisk korsentropi?
Den enda skillnaden mellan gles kategorisk korsentropi och kategorisk korsentropi är formatet för sanna etiketter. När vi har ett klassificeringsproblem med en etikett och flera klasser, är etiketterna ömsesidigt uteslutande för varje data, vilket innebär att varje datainmatning bara kan tillhöra en klass.
Hur tolkar du kategorisk korsentropiförlust?
Cross entropy ökar när den förutsagda sannolikheten för ett sampel avviker från det faktiska värdet. Att förutsäga en sannolikhet på 0,05 när den faktiska etiketten har värdet 1 ökar därför korsetropiförlusten. anger den förutsagda sannolikheten mellan 0 och 1 för det urvalet.
Varför är korsentropi bra?
Sammantaget, som vi kan se är korsentropin helt enkelt ett sätt att mäta sannolikheten för en modell. Korsentropin är användbar eftersom den kan beskriva hur sannolik en modell är och felfunktionen för varje datapunkt. Den kan också användas för att beskriva ett förutspått resultat jämfört med det verkliga resultatet.
