Πώς να καταλάβετε αν η ακρίβεια ενός μοντέλου είναι πραγματική
Γιατί η ακρίβεια που αναφέρεται για ένα μοντέλο πρόβλεψης είναι συχνά υπερβολικά αισιόδοξη, πέντε έλεγχοι που το δείχνουν και τι να ρωτήσετε πριν βασιστείτε στο μοντέλο.
Ένα μοντέλο με ακρίβεια 95% σε μια παρουσίαση μπορεί να τα πάει πολύ χειρότερα στα δεδομένα του επόμενου μήνα. Συνήθως κανείς δεν κάνει απάτη. Η ακρίβεια απλώς μετρήθηκε με τρόπο που ευνοεί το μοντέλο. Οι πέντε έλεγχοι που ακολουθούν δείχνουν αν μια αναφερόμενη ακρίβεια θα ισχύει και όταν το μοντέλο χρησιμοποιηθεί στην πράξη.
1. Μετρήθηκε σε δεδομένα που το μοντέλο δεν είχε δει;
Η ακρίβεια στα δεδομένα εκπαίδευσης λέει πολύ λίγα, γιατί το μοντέλο έχει ήδη δει αυτές τις περιπτώσεις. Ζητήστε αποτελέσματα σε δεδομένα που κρατήθηκαν στην άκρη και δεν χρησιμοποιήθηκαν ούτε στην εκπαίδευση, ούτε στη ρύθμιση, ούτε στην επιλογή χαρακτηριστικών.
2. Χρησιμοποιήθηκαν τα δεδομένα ελέγχου και για να διαλεχτεί το μοντέλο;
Συχνά δοκιμάζονται πολλά μοντέλα και ρυθμίσεις και κρατιέται αυτό με το καλύτερο αποτέλεσμα στον έλεγχο. Αυτό το αποτέλεσμα είναι μεροληπτικά υψηλό, γιατί ένα μέρος του οφείλεται στην τύχη. Η εμφωλευμένη διασταυρούμενη επικύρωση (nested cross-validation) ή μια στατιστική διόρθωση του επιλεγμένου αποτελέσματος δίνει ρεαλιστική εκτίμηση.
3. Διέρρευσε πληροφορία μέσα στο μοντέλο;
Διαρροή υπάρχει όταν ένα χαρακτηριστικό περιέχει πληροφορία που δεν θα υπάρχει τη στιγμή μιας πραγματικής πρόβλεψης. Ένα πεδίο «ημερομηνία ακύρωσης» σε μοντέλο που προβλέπει ακυρώσεις είναι προφανές παράδειγμα. Πιο δύσκολο να το δει κανείς είναι η κανονικοποίηση ή η συμπλήρωση κενών τιμών με όλα τα δεδομένα πριν τον διαχωρισμό τους. Σε δεδομένα που αλλάζουν με τον χρόνο, το μοντέλο πρέπει να εκπαιδεύεται στο παρελθόν και να ελέγχεται σε μεταγενέστερη περίοδο.
4. Υπάρχει διάστημα εμπιστοσύνης;
Με 200 περιπτώσεις ελέγχου, μια μετρημένη ακρίβεια 85% μπορεί στην πραγματικότητα να είναι οπουδήποτε από περίπου 80% έως 90%. Ένας σκέτος αριθμός χωρίς διάστημα κρύβει αυτή την αβεβαιότητα. Δύο μοντέλα με διαστήματα που επικαλύπτονται μπορεί να μη διαφέρουν καθόλου.
5. Είναι σωστό το μέτρο σύγκρισης, και υπάρχει σημείο αναφοράς;
Αν το 95% των πελατών δεν ακυρώνει ποτέ, ένα μοντέλο που προβλέπει «κανείς δεν ακυρώνει» έχει ακρίβεια 95% και είναι άχρηστο. Συγκρίνετε το μοντέλο με μια απλή πρόβλεψη αναφοράς και χρησιμοποιήστε μέτρο που ταιριάζει στο πρόβλημα, όπως η σταθμισμένη ακρίβεια, η περιοχή κάτω από την καμπύλη ROC ή το κόστος κάθε είδους λάθους.
Τι να ρωτήσετε πριν βασιστείτε σε ένα μοντέλο
- Σε ποια δεδομένα μετρήθηκε η ακρίβεια, και κρατήθηκαν χωριστά από κάθε εκπαίδευση και ρύθμιση;
- Πόσα μοντέλα και ρυθμίσεις δοκιμάστηκαν πριν επιλεγεί το τελικό;
- Ποιο είναι το διάστημα εμπιστοσύνης του βασικού μέτρου;
- Πώς συγκρίνεται το μοντέλο με μια απλή πρόβλεψη αναφοράς;
- Ποια χαρακτηριστικά οδηγούν τις προβλέψεις, και βγάζουν νόημα για κάποιον που ξέρει την επιχείρηση;
Αν ένα μοντέλο χρησιμοποιείται ήδη και λείπουν αυτές οι απαντήσεις, η αξιολόγηση μοντέλου ελέγχει πόσο ακριβές είναι στην πραγματικότητα και γιατί αποφασίζει όπως αποφασίζει. Για νέο μοντέλο, το πακέτο ανάλυσης δεδομένων και μοντέλων πρόβλεψης δίνει κάθε ακρίβεια με διάστημα εμπιστοσύνης και εξήγηση για το τι οδηγεί κάθε πρόβλεψη.
Τελευταία ενημέρωση:
Έχετε ένα έργο στο μυαλό σας;
Πείτε μας τι θέλετε να πετύχετε. Απαντάμε γραπτώς σε κάθε αίτημα.