Comment gérer les données lors d'une prédiction

Fermé
Utilisateur anonyme - 15 juin 2018 à 21:29
Whismeril Messages postés 19024 Date d'inscription mardi 11 mars 2003 Statut Contributeur Dernière intervention 18 avril 2024 - 16 juin 2018 à 21:08
Bonjour,

Je possède un algorithme de machine learning permettant de réaliser des prédictions.

Lorsqu'un utilisateur entre ses données dans l’algorithme afin d'obtenir une prédiction, mais que celle-ci sont principalement composées de données "aberrantes", que dois-je faire :

Le gérer en amont et lui refuser l'utilisation de l'algorithme ?
L'accepter en omettant les données aberrantes (il y a t-il une règle pour définir un seuil d’aberration par exemple) ?
Réaliser une prédiction en prenant le risque de sortie un mauvais résultat et prévenir l'utilisateur, on considérant que tout algorithme à ses limites ?

Merci.

1 réponse

Whismeril Messages postés 19024 Date d'inscription mardi 11 mars 2003 Statut Contributeur Dernière intervention 18 avril 2024 928
16 juin 2018 à 20:49
Bonjour

elle-ci sont principalement composées de données "aberrantes"
par essence une valeurs aberrante est une valeur qui ne colle pas avec la majorité.


Tu dis que pour toi la majorité est aberrant et que ton IA devra savoir trier les patates.

Je n'y connais rien ou presque en machine learning, mais comme son nom l'indique elle apprend, il faut donc, je pense commencer par lui apprendre à détecter ce qui est cohérent.
Enfin je pense.

Dans l'exemple 1, la droite des moindres carrés est très proches des valeurs affines, une fois qu'on a sorti la valeur éloignée, la nouvelle droite des moindres carrés colle pile poil aux valeurs.
Dans l'exemple 2, le point extrême est loin de la moyenne, si on sort ce qui est au delà d'un seuil (3 sigma par exemple), ce point est rejeté et ça affecte la moyenne de façon infime.

Donc là, les 2 méthodes mathématiques se basent bien sur la majorité.

0
KX Messages postés 16733 Date d'inscription samedi 31 mai 2008 Statut Modérateur Dernière intervention 31 janvier 2024 3 015
16 juin 2018 à 21:06
Bonjour,

Si la majorité des données est aberrante, ton IA sera aberrante.

Un exemple (d'actualité) : Norman, une IA nourrie à la violence qui du coup assimile tout comme étant violent...
Ou quand le MIT s'amuse à créer une IA psychopathe !

Un peu moins d'actualité, mais toujours sur le même principe, il y avait TayandYou, une IA de Microsoft, débranchée 24h après son lancement, car elle était devenue raciste à force de discuter sur Twitter...
0
Whismeril Messages postés 19024 Date d'inscription mardi 11 mars 2003 Statut Contributeur Dernière intervention 18 avril 2024 928
16 juin 2018 à 21:08
Ha oui, j'ai lu l'info sur Norman, je n'y avais pas pensé comme exemple. Bien vu
0