Hogyan értelmezhetem a validálás és a teszt pontossága közötti különbséget?


Válasz 1:

Az A pontosság szempontjából azt hiszem, hogy a modell jól működik. Feltételezem, hogy érvényesítési adatokat használtál az A modell kiképzéséhez és a tesztelési adatok értékeléséhez. Mivel a validálási pontosság és a teszt pontossága egyaránt magas, elmondható, hogy a modell megfelelő módon van kiképezve. Két aggályom van azonban.

  1. Ha nagyobb pontosságú modellre van szüksége, akkor a jobb paramétereket be kell hangolnia. A felügyelt tanulás nem minden a pontosságot jelenti. Ha ez két bináris osztályozás, akkor a ROC-területet görbe alá kell vonni, hogy megnézhesse, vajon van-e problémája a hamis pozitív osztályozásával. Ha magas hamis pozitív van, akkor a modell haszontalan.

A B esetében azt hiszem, hogy túlteljes. A túlteljesítés azt jelenti, hogy modellje csak a képzési és érvényesítési adatokkal működik, és nem tesztelési vagy új ismeretlen adatokkal. Biztos, hogy általánosabb modellt akar. Ki kell derítenie, miért van túlzottan felszerelve. A görbe alatti ROC-területet is ki kell értékelnie.

http: //gim.unmc.edu/dxtests/roc3 ...

Túl- és alulkészítés gépi tanulási algoritmusokkal - gépi tanulás elsajátítása