Programmer un réseau de neurones Résolu/Fermé

Question

Bonjour à tous,

Je me suis mis dans l'idée de programmer un réseau de neurones, le problème étant que je ne sais pas par quel bout commencer.

En fait je ne parviens pas à trouver comment programmer une fonction réorganisation du réseau lors d'un apprentissage qui ne foutte pas en l'air tous les apprentissages précédents...
je sais aussi que le mieux pour moi, pour comprendre et apprendre, est d'examiner un programme déjà existant. Disons que j'ai quelques lacunes en matière de création, d'invention...

Qulequ'un a-t-il déjà programmer un tel réseau ? Si oui peut-il me le montrer en exemple ? Connaissez vous des liens de pages mettant en ligne des codes de réseaux ?

Merci de vos réponses.

Xavier.

maher · Accepted Answer

bonjour 
je suis un élève ingénieur de l'ecole nationale d'ingénieurs de Tunis (Tunisie)
je suis entrain de faire un projet sur la prévision de la demande en eau potable en utilisant les reseaux de nuerones
voici un document qui peut etre utile pour vous

Obeet · Answer

Salut,Pour programmer un reseau neuronal, il te faut absolument savoir ce qu'il va faire. Ensuite il te faut ton truc de test pour qu'il apprenne.Il existe plusieurs type d'algos en fonctions dece que tu veux faire...mais trouver la doc avec google est assez facile :o)Le TeebObeeT préféré de la moche...

franky* · Answer

Obeet a tout a fait raison, mais si ça t'intéresse toujours, contacte-moi (en expliquant exactement ce que tu veux faire), je pourrai te donner 2-3 pistes (surtout sur la partie apprentissage : c'est pas si évident de trouver de la doc bien faite)Eléctions : Bush filled his SOUl with HOpe

tafiscobar · Answer

j'en ai deja codé, et je ne l'ai pas encore mis sur le net, par contre il ya plusieurs api sur sourceforge et c'est un bon début si tu veux lire du code. Nottament, ya une librairie qui s'appelle fann (fast neural network) et il est pas mal.Par contre, tu ne pourras coder que si tu comprends comment fonctionne un réseau de neurones et donc il te faudra ds un premier temps lire de la doc. Par google, tu trouveras de bons liens ou sur cetesser.tafiscobar  "lou waye def bopame"la nullite n'existe pas, l'ignorance oui, ah je suppose!!!

xavier · Answer

Merci pour vos réponses.En fait je me suis acharné avec un copain, et j'ai réussi à programmer un reseau qui reconnait les caractères ( chiffres et lettres ). Mon problème était au niveau de la fonction modification du reseau, et j'ai trouvé à ce sujet quelques explications sur la méthode de "backpropagation", qui s'est avérée simple et efficace.Toutefois, je reste ouvert à vos éventuelles propostions de réseaux, histoire de voire quelles autres méthodes que la mienne on peut utiliser pour programmer de l'intelligence !!!Xavier

Totolito · Answer

Bonjour à tous!Je suis à la recherche de doc pour programmer un réseau de neurone sur un microcontrôleur. C'est pour faire de la reconnaissance d'objet (et plus précisement, une quille).Je me documente pas mal sur le net mais je n'ai pas encore trouvé mon bonheur. De plus même soucis pour l'apprentissage...Merci ;)@@@@@@@@@

totolito · Answer

Bonsoir!T'as deviné, je suis dans l'équipe #CENSURE# !   :-)La laser ne demande pas énorme de traitement: juste pour détecter les distances...Je vais bosser ton idée...L'algo que j'espère en tirer n'est pas pour cette coupe car effectivement, pas le temps!  mais on espère que le réseau pourra nous servir pour les autres  coupe. D'où l'intérêt d'en trouver un qui "apprend" un objet à reconnaitre ... ca la vie n'est pas faite que de quilles....

Thomas · Answer

Bonjour! :o)
Je suis trés interessé par la explications que vous pouvez fournir en ce qui concerne la theoorie et la programmation d'un reseau neuronal.
Si vous avez quelques minutes à perdre, je suis preneur : xxxx@xxxx.xx
Merci d'avance à ceux qui me reponderont! ;o)

Modération : Pour ta sécurité et ta tranquillité, pas de données personnelles dans le pseudo ou le corps des messages. De plus, le principe même d'un forum est de poser publiquement sa question pour que tous profitent d'une réponse publique...

Xavier · Answer

Réponse à Franky.Pour l'instant, mon réseau reconnait des chiffres dans une matrice 5*7. Mais je suis en train de le modifier pour qu'à la fin il prenne en entrée un bmp de taille définie, ca ne va prendre beaucoup de temps, il suffit juste de changer le nombre de neurones d'entrée.Pour qu'il reconnaisse aussi les lettres, il suffit que je change le nombre de neurones de sorties ( et les exemples evidemment ).Il reconnait efficacement apres environ 200 apprentissages de chaque caractère. Il est presque infaillible dans le cas de caractères non douteux. Mais pour les cas litigieux, il dit l'une des réponses possibles ( mais bon, on ne peut pas lui demander de reconnaitre des caractères qui ressemblent à rien ).Par contre, je n'ai mis qu'un exemple par caractère ( calligraphie carrée ). Je vais tenter d'augmenter le nombre d'exemples et voir le résultat. ( par exemple, le "4" existe sous de nombreuses formes, et je n'en ai rentré qu'une pour l'instant ).Voilà voilà.

franky* · Answer

OK, ben c'est très bien, de bons résultats comme ça !Juste une remarque :non, ça ne va pas être facile d'augmenter arbitrairement la taille de la grille d'entrée !La raison est très simple, c'est que si on te dit d'écrire le chiffre 5 sur une feuille A4, tu vas pouvoir l'écrire petit, grand, à gauche, à droite, etc.Les réseaux à couches sont très démunis dans ce cas-là !Et augmenter le nombre de neurones de la couche d'entrée est sans doutes la pire chose à faire : chaque neurone vas se trouver très isolé, et si ton réseau est habitué à voir un chiffre en haut à gauche, il ne reconnaitra rien si le même chiffre se trouve en bas à droite.En plus, ça ne servirait à rien d'augmenter le nombre d'exemples pour s'entraîner sur "tous" les jeux possibles, car l'apprentissage dans un tel cas est par essence impossible.Donc la solution (j'en ai parlé un peu plus haut dans la discussion), c'est le prétraitement ! Dans le cas de la reconnaissance de caractères, ce qui se fait souvent, c'est commencer par isoler (donc reconnaître, mais par d'autres méthodes) des caractéristiques essentielles (intersection, etc.), puis de les positionner les unes par rapport aux autres.Eléctions : Bush filled his SOUl with HOpe

donny · Answer

Salut,Je viens de voir ton tuto et sa m interesserai bien de programmer un reseau de neurone pour la reconnaissance de caractere mais je sais pas par ou commencer.J ai essayer de trouver de la doc sur google mais pas evident(quel algo ??).Je souhaite utilisé c++builder ou vb pour le faire/Apparamment tu à  l air de t y connaitre si sa ne te genrai pas de me donner un  coup de pousse SVpje te remercie d avance

franky* · Answer

Salut Donny,Je voulais t'envoyer un bon cours (http://www.metz.supelec.fr/~frezza/Cours.html : c'est celui que j'ai eu cette année) mais le seul lien qui ne marche plus, c'est justement le cours de DEA. Je laisse l'adresse parce qu'il y a surement d'autres liens utiles...Sinon, je veux bien t'aider, mais sur des points précis que tu ne comprends pas : je ne remplacerai pas un cours ! Et surtout, je ne pourrai pas t'aider pour la programmation, je ne programme jamais rien ! ;-)Donc comme mots clés, tu peux chercher (j'ai du parler de tout ça dans les posts précédents) : kohonen+paradigme (ou principe), cartes auto-organisatrices, compétition+neurones+"chapeau mexicain" (<- tout ça, c'est pour le principe), orientation orientée masque+entrée, valeurs nominales, apprentissage non supervisé, rétinotopie (pas obligatoire !!! c'est déjà plus avancé, comme notion), réseaux incrémentaux (pour ça, il doit y avoir un lien sur la page que je t'ai donnée vers la page de Fritzke : c'est lui qui a développé ça !)Evidemment, tu mélanges tout ça, et quand tu auras l'impression de maitriser toutes ces notions, tu devrais être capable de te débrouiller. S'il y en a que tu ne trouves vraiment pas, tu peux m'en demander plus, bien sûr, mais je ne travaille pas exactement dans ce domaine...Bon courage, y'a du boulot en perspective !

Saadbou DIAWARA · Answer

Salut moi aussi j'ai besion voir le code source de ce  programme mais plustot en java. En effet je dois presenter un memoir sur le data mining et vous savais ele reseau de neurones est un outil du data mining (sans doute le plus utilisé)alors j'ai fais des recherches sur les codes java  des differents outils du data mining mais je n'arrive tjrs pas a recevoir des reponses que j'attends vraiment Si vous pouviez m'envoyer des codes portant sur le data mining ce serait vraiment gentil de votre partmerci et a bientot j'espere

matmdx · Answer

Bonjour à tous,    Je vois que sur ce forum les réponses apportées sont souvent pertinentes et intéressantes (ce qui n'est pas le cas de tous les forums il faut bien le dire...), donc je vais tenter ma chance à mon tour !    Voilà : je suis entrain de coder un réseau de neurone destiné à la reconnaissance de caractères manuscrits (je ne m'intéresse ici qu'aux chiffres, mais bon le principe est le même...). Mon réseau est un perceptron multi-couche :         - 1 couche d'entrée de 64 neurones (images de 8*8 pixels)         - 1 couche cachée au nombre de neurones variable         - 1 couche de sortie de 10 neurones (de 0 à 9)    J'utilise bien entendu un algorithme de rétroprogation du gradient pour le calcul des poids.    Pour l'apprentissage j'utilise une base de donnée de 3823 images de 8*8 pixels en niveaux de gris et environ 1800 pour les vérifications (cette base est gratuite et disponible à cette adresse : http://www.ics.uci.edu/~mlearn/MLRepository.html dans la section 'optdigits').    Au début mon réseau ne fonctionnait pas ou peu, comme pour un certain nombre d'entre vous (je suppose). J'ai alors décidé de paramétrer tout le réseau :         - fonctions de transfert à paramètres (et non pas une simple sigmoïde) : j'entends par là f(x) = 1/(1+exp(a*x)) translatée de plus entre -1 et 1 pour une meilleure efficacité (a variable)         - nombre de neurones de la couche cachée         - coefficient d'apprentissage : coeff pour la modification des poids : w = w +b*modif (b variable)    En procédant de la sorte on obtient tout de suite des résultats très satisfaisants et je pense que les documents que l'on peut trouver sur le sujet n'insistent pas assez sur ce point.(personnellement j'ai trouvé a=(de 0,08 à 0,12 ) environ, et b entre 0,1 et 1 : b ne change pas grand chose à l'efficacité du réseau mais peut accroîrte la rapidité des calculs..).    En fait ce que je veux faire c'est étudier ce réseau à fond, et trouver les paramètres qui permettent d'obtenir un réseau le plus efficace possible (l'efficacité du réseau est pour moi la reconnaissance par le réseau des images de la base de vérification qui n'interviennent pas dans l'apprentissage, ainsi que le coût d'apprentissage ou la durée d'apprentissage ou le nombre de modification des poids lors de l'apprentissage, comme on veut).    J'ai déjà fait tourné mon PC pendant de nombreuses heures (une bonne journée au moins, et oui c'est très long !!!...), et certains résultats m'étonnent.    - Pour le paramètre des sigmoïdes tout ce passe comme je l'imaginait : si on représente l'efficacité en fonction du paramètre on obtient une forme de parabole avec un minimum (qui correspond pour mon réseau à 0,115 environ). Donc de ce côté là tout va bien !    - par contre plus j'augmente le nombre de neurones de la couche cachée et plus le réseau est efficace, aussi bien au niveau de la base de vérification qu'au niveau du coût des calculs (sans toutefois aller trop loin sinon le coût n'est pas négligeable) : moi qui pensait que le "bon nombre de neurones" de cette couche serait de l'ordre du nombre de neurones de la couche de sortie (comme c'est parfois conseillé dans les documents), j'obtiens des couches avec près de 20 à 100 neurones !!!         Est-ce que quelqu'un pourrait m'expliquer cela ??    Sinon concrètement pour l'efficacité j'obtient un taux de réussite au minimum de 3% sur la base d'apprentissage (ce qui fait quand même environ 60 exemples non reconnus) et bien sûr 100% sur la base d'apprentissage. J'obtiens de plus environ 60% d'efficacité sur des images que j'ai moi même scanées.    C'est pas mal, mais est-ce qu'il y a moyen d'améliorer ces résultats ??Merci de vos réponses,Matthieu

matmdx · Answer

>>> Tu vises l'IMAG ? Les ENS ?Euh.............. Nan faut peut-être pas exagérer pour les ENS...J'espère "seulement" (et ce sera déjà pas mal) avoir l'ENSIMAG !A part ça j'ai obtenu l'autorisation de l'administration de mon lycée pour pouvoir utiliser une salle informatique de 12 PC pour pouvoir faire tourner mes algos pendant plusieurs nuits !!!D'ailleurs en ce moment même les PC tournent déjà !Comme ça j'obtiendrais des résultats plus rapidement.>>> Réseau de Kohonen :Je crois que j'ai pas compris comment se faisait l'apprentissage pour ce réseau, et surtout j'ai pas compris, une fois que le réseau a été entraîné, comment fait-on pour avoir la sortie correspondant à l'entrée (la carte s'organisant toute seule, comment peut-on savoir quelle zone activée en sortie correspond à telle classe de chiffre ?) ?@ +,Matthieu

franky* · Answer

> Euh.............. Nan faut peut-être pas exagérer pour les ENS...> J'espère "seulement" (et ce sera déjà pas mal) avoir l'ENSIMAG !T'en fais pas, je te charriais ;-)Et puis si t'as l'IMAG, c'est excellent !Eh ben, ils sont cool, dans ton lycée, de te laisser autant de moyens ! T'es où ?Bon, Kohonen.Là, il est un peu tard pour que je t'explique tout l'apprentissage.Par contre, je peux répondre rapidement à ta question : il faut te dire que ça n'a rien à voir avec le réseau à couches. Par principe, c'est auto-organisé, donc il n'y a pas de couche avec 10 neurones qui va te dire quel prototype a été reconnu. C'était utile pour l'apprentissage supervisé, pour pouvoir corriger la reconnaissance au fur et à mesure de l'apprentissage, mais là, l'utilisateur est un peu mis hors du système.Alors je sais, tu vas me dire qu'au bout du compte, tu veux quand même savoir quel chiffre a été reconnu... La réponse te paraîtra simple quand tu auras compris la méthode d'apprentissage : c'est celui qui a été séléctionné par le réseau :-pppT'en fait pas pour ça, j'essaierai de répondre plus clairement demain. Dis-toi simplement que sur la "couche" qui nous intéresse (parce qu'on peut considérer qu'il y a 2 couches), c'est-à-dire la carte auto-organisatrice proprement dite, tu n'auras jamais d'équivalence 1 neurone = 1 pixel, mais au contraire 1 neurone = 1 caractéristique du caractère, voire ...= 1 caractère. Donc les neurones qui seront activés te donneront un résultat.Petit exercice de réflexion en attendant le reste des explications : essaie de bien te faire à l'idée qu'on va différencier 2 distances. La première est la "distance" entre 2 caractères, en termes d'image, et la seconde, la "distance" sur la carte entre 2 neurones qui vont représenter une caractéristique du caratère ou, comme je l'ai dit plus haut, entre 2 caractères eux-même. On risque donc encore de parler de "distance entre 2 caractères", alors que ça n'aura rien à voire avec la première distance !C'est pas très clair, mais essaie de bien différencier les 2, ce sera très utile par la suite...A+

matmdx · Answer

>>> t'es où ?Lycée Clémenceau à Nantes...>>> A propos du surapprentissage :Comme tu me l'as dit, j'ai essayé de voir au niveau du surapprentissage pour tenter de diminuer sérieusement le coût des calculs, et de garder la propriété généralisatrice des réseau de neurone.J'ai donc effectué les mesures suivantes : pour des paramètres fixés (paramètres qui me donnent une convergence assez rapide), j'ai fait varier la taille de ma base d'apprentissage (de 10 à 3500 exemples), et j'ai calculé à chaque fois :- l'efficacité sur la base de test qui ne sert pas à l'apprentissage (1797 exemples)- l'efficacité sur l'ensemble des exemples dont je dispose (app+test=5626 exemples) (les exemples de la base d'apprentissage servent à la fois à l'apprentissage et au test)Voici les résultats :- Nombre d'erreurs sur la base de test :http://site.voila.fr/updt/tipe/image1.jpg- Pourcentage d'erreur sur la base de test :http://site.voila.fr/updt/tipe/image2.jpg- Nombre d'erreurs pour les 2 bases :http://site.voila.fr/updt/tipe/image4.jpg- Pourcentage d'erreur pour les 2 bases :http://site.voila.fr/updt/tipe/image3.jpgOn remarque bien qu'à un moment les courbes ne décroissent plus trop rapidement (à partir de 1500 exemples environ) et elles évoluent vers un minimum : 80 erreurs environ (toutes bases comprises).Avec 1500 exemples il y a 100 erreurs sur la base de test et 200 sur les 2.(Avec les meilleurs paramètres initiaux que j'ai trouvé pour l'instant, j'arrive à 60 erreurs).Est-ce que cette différence est significative ?Et au vu des résultats que j'obtiens devrais-je donc, comme tu me le conseillais, me contenter de moins d'exemples ?Merci, et @+,MatthieuNB : quelques résultats :- Nombre de modifications du réseau en fonction de a (avec 30 neurones cachées et un coeff d'app de 1) :http://site.voila.fr/updt/tipe/modif_a_30_1.jpg- Nombre d'erreurs sur la base de test en fonction de a (avec 70 neurones cachées et un coeff d'app de 1) :http://site.voila.fr/updt/tipe/erreur_a_70_1.jpg- Nombre de modif en fonction du nbr de neurones cachées (avec a=0.05 et un coeff d'app de 1) :http://site.voila.fr/updt/tipe/modif_nbr_005_1.jpg- Nombre d'erreurs en fct du nbr de neurones cachées (avec a=0.05 et un coeff d'app de 1) :http://site.voila.fr/updt/tipe/erreur_nbr_005_1.jpgSi jamais vous avez le logiciel de calcul formel Maple que j'utilise pour tracer les courbes et les surfaces, je pourrais mettre aussi en téléchargement ces fichiers (on voit bien mieux avec les surfaces 3D...)

franky* · Answer

Salut Matthieu,Désolé, j'ai pas trop pu venir avant...Mais j'ai parlé de ce post à un copain qui s'y connait mieux que moi dans les RN (Johann), il te dira sûrement plein de choses intéressantes ! ;-)Quand à mon explication sur les cartes de Kohonen, il faudra attendre encore, je suis pas trop dispo, là... Désolé.Mais si tu as déjà un peu cherché des infos par ailleurs, je n'aurai pas grand chose à t'apprendre : je pourrais plutôt t'aider à comprendre des points obscurs.Sinon, pour tes problèmes de nombre d'exemples, on voit effectivement que 1000 ou 1500 suffisent... (bon ,OK, j'avais dit 500 au début, j'atais un peu optimiste !)En tous cas, bravo pour ton boulot, c'est impressionnant !Bonne continuation,François

johann · Answer

Salut !!Bon j'ai parcouru rapidement le thread...Effectivement Fanch à raison, il s'ai bien démené pour te répondre, respect à lui !!Pour ce qui est des "connexions latérales", c'est valable dans plusieurs types de réseaux, Hopfield bien sur, mais aussi la CNFT qui est l'ancêtre des SOM (Self-Organizing Maps) de Kohonen. La différence est tout simplement que la CNFT (Continuum Neural Field Therory) fait "jouer la concurence"... C'est à dire que par le biais de connexion latérales, tous les neurones de la carte se disputent pour créer des bulles d'activités, jusqu'à stabilisation de la carte. Ceci dis, celà demande plusieurs itération pour une même entrée.Les poids des connexions sont en chapeau mexicain, une double exponentielle positive dans l'entourage proche et négative plus loin, tend vers zéro à l'infini...Kohonen à simplifié le principe avec le "winner takes all", c'est à dire que chaque neurone calcule la similitude de son entrée avec son prototype et on choisit le meilleur, on lui crée l'équivalent de la "bulle d'activité" (un gaussienne 2D) autour de lui. En fonction du coef d'activation de chaque neurone, le prototype de chacun est décalé vers l'exemple. L'amplitude de ses mouvement diminue petit à petit (diminution controllé par un paramètre).La topologie finale de la carte décrit la densité des exemples (dans l'espace des prototypes, car comme l'a fait remarqué Franky, il faut bien distinguer cet espace, muni d'une distance, et la distance entre deux neurones (nb de connexions pour aller de l'un à l'autre))Autre chose : la fonction d'action. C'est ici une "gaussienne" ou tout autre RBF (Radial Basis Function) centrée sur le prototype. Plus on s'éloigne du prototype, plus la valeur d'activation baisse...L'apprentissage pour un tel type de carte, c'est de placer les neurones vers les centre de densités de la distribution des exemples.Enfin, pour ensuite caractériser quelle classe d'exemple à été reconnu, là l'étiquetage de la base sera utile.En fait dans le principe, rien ne t'interdit de coller un perceptron (donc mono couche) au dessus de la SOM !!!Cela risque même de bien marcher.Ce qui me chiffonne c'est les fortes hypothèses qu'il faut faire sur les exemples, qui risquent fort d'être irréalistes. Mais dans un cas d'école, c'est pas forcément génant... A toi de voir (pour le bruit, un pré-traitement possible est un simple flou gaussien. Si le rapport signal/bruit reste faible, c'est nikel !) Pour l'invariance en échèlle/translation, là faut un algo plus costaud, et ça sort du cadre...Ceci dis, le système de reconnaissance de la poste US passe par deux couche de carte... A partir d'une rétine en 256x256 niveaux de gris, une première batterie de cartes 12x64, avec une connectivité partielle (chaque neurone de chaque carte prend en entrée une zone de la rétine, à neurone voisins, zones voisines), re belotte vers des cartes 12x16, puis enfin vient la "couche cachée", linéaire, classique, en connectivité totale et la couche de sortie.Je sais pas si c'est bien clair, j'essaye de scanner le schémas la prochaine fois que je passe au labo.En ce qui concerne ton apprentissage :Je suis assez étonné par tes résultats en fonction de 'a'.J'immagine que tu effectue l'apprentissage APRES avoir fixé le paramètre.(Sinon c'est tout faux !)Par contre à tu géré l'invariance des poids initiaux, je veux dire, pour des (a,b) différents, si les poids initiaux sont différents aussi, tu va te caler dans des minimum locaux différents.Sinon, je ne m'expliques pas tes résultats : d'instinct, il me semble que la forme de la fonction de transfert n'influe pas sur l'EQM (Erreur Quadratique Moyenne), dès lors que l'apprentissage est bien fait. Par contre ça influe sur la rapidité de l'apprentissage, ça, oui !!Autre chose (qui pourrait aussi être une piste) : tu ne va pas assez loin dans l'apprentissage, tu n'atteint pas l'overfitting. Je ne veux pas dire qu'il faut l'atteindre, il faut s'arrêter avant, mais le fait de voir l'EQM remonter SUR LA BASE DE TEST indique qu'on a dépassé le seuil d'un apprentissage correct. Est c'est au niveau de ce minimum sur la courbe qu'il faut s'arrêter. Ce n'est pas toujours necessaire pour optenir des performances correcte, mais pour une comparaison de paramètres tel que tu le fais, je dirais que ça l'est (sinon c'est un peu comme déclarer un vainqueur d'une course à pied alors qu'il ne sont qu'à mi-parcours...)Voilà, je te laisse réagir déjà à ça, si t'as d'autres questions, j'ai coché l'option pour les mails, tu dois pouvoir choper mon adresse.Si jamais Franky t'as envoyé l'autre, je préfèrerais que tu utilise celle que donne ici !!!Quote = "Franky" >>Bon, je te laisse méditer ça (autrement dit, on m'attend pour faire autre chose que mon autiste sur l'ordi ;-p ), MOUARF !! Je crois avoir une idée ;°)A+

matmdx · Answer

Salut Johann et merci du temps que tu as consacré à ce message...>>> J'imagine que tu effectue l'apprentissage APRES avoir fixé le paramètre.Oui (enfin je suppose...) : je fixe a, b et tous les autres paramètres (nbr de neurones de la couche cachée, etc...), puis je lance l'apprentisasage sur un réseau avec initialement des poids aléatoires. L'apprentissage étant terminé, je réinitialise les poids et je relance l'apprentissage sur ce deuxième réseau, puis je continue comme une dizaine de fois ! Et je fait la moyenne des résultats...>>> (Sinon c'est tout faux !)Pas si sûr que ça !!! J'ai entendu parler d'algorithmes qui prennent 'a' comme un poids que le réseau modifie au fur et à mesure des itérations (un peu moins quand même que les autres poids...) ce qui permet d'optimiser et les poids et le coefficient de la sigmoïde ! (la correction à apporter se démontre comme pour la correction des poids...).>>> Overfitting :Tu voudrais dire qu'il faudrait que j'obtienne un minimum sur ma courbe du nombre d'erreurs sur la base de test en fonction du nombre d'exemples appris ? Si c'est le cas, je n'ai pas assez d'exemples... Ou alors il faut que je change les paramètres initiaux...>>> KohonenJe vais essayer de trouver de la doc plus approfondie d'ici ce week-end, et je vais tenter de créer un premier algo pour y voir plus clair... Paske là ça reste encore un peu flou...>>> Questions :Si j'entraîne plusieurs réseau et que pour l'utilisation je confronte leur résultats, est-ce que j'obtiendrais de meillurs résultats ? (logiquement oui...) (est-ce que c'est ce que tu appelles 'batterie de cartes' pour la poste US ?)Si j'entraîne un réseau de type Hopfield et un réseau de type PMC sur les mêmes exemples, et que pour l'utilisation j'effectue un prétraitement de l'entrée à l'aide du réseau de Hopfield et qu'à après je la fait reconnaître par le réseau PMC, est-ce que j'obtiendrais de meilleurs résultats ??merci,Matthieu

johann · Answer

Tu ne répond pas à ma question. Est-ce que tu réinitialise les poids avec la même valeur pour tout les réseaux ? (J'immagine que les dix essais pour (a,b) fixés se font avec des valeurs de poids différentes, mais ces 10 couples sont-ils communs à tous les réseaux ?)Correction de a : t'as un lien là dessus ?Overfitting : Tu peux passer et rapasser la même base plusieurs fois !! Le but étant d'aller trop loin et de revenir à l'optimum.Ta question : que veux tu dire par 'pour l'utilisation" ?Logiquement, oui, si tu ne met pas assez de neurones cachés, tu restera trop général, avec trop, tu risque un over-fitting "rapidement"... Mais qui peut le plus peu le moins, avec trop de neurones caché tu peux rester aussi général et médiocre qu'un réseaux qui n'en a pas assez.Il existe des méthode incrémentales/décrémentales (y'en a une qui marche pas bien, je sais plus laquelle).Non, les "batteries de cartes" sont des "couches cachées parallèles".Hopfield + PMC = pourquoi pas, j'y avais jamais pensé.Logiquement oui, si la couche Hopfield débruite l'exemple et que le MLP (PMC, j'ai failli pas comprendre) le reconnait ensuite...Le soucis c'est que le réseau type Hopfield ne sait mémoriser qu'un nombre assez limité d'exemple, ça risque donc de marcher pour une petite zone de l'espace où une distribution très concentrée sur quelques points...Enfin à la reflexion je suis pas sûr du tout que ce soit une bonne idée. En plus, le MLP ne fait rien (enfin, pas grand chose...), tu pourrais le remplacer par un algo qui compare la sortie aux prototypes mémorisés et retourne la classe correspondante...

matmdx · Answer

>>>  Tu ne répond pas à ma questionAh OK je vois ce que tu veux dire !Non : à chaque fois je choisis les poids aléatoirement et ils sont différents pour chaque série de mesures...Mais comme les courbes que j'obtiens sont plutôt continues j'en ai conclu que cela n'avait pas beaucoup d'importance !Mais je peux très bien si tu veux refaire les mesures avec des poids identiques pour chaque série... Seul problème : lorsque je fais varier le nombre de neurones de la couche cachée, le nombre de poids à choisir n'est plus le même ! Alors comment faire ?>>> Correction de aJe n'ai pas de lien pour l'instant, c'est juste un ami qui avait trouver sur le net (je pourrais lui demander l'adresse du site où il a trouvé ça). Mais il m'a fait la démonstration sous les yeux et ça m'avait l'air juste...>>> OverfittingOK je vois : il faut donc que je fasse un apprentissage forcé, même si le réseau reconnaît déjà parfaitement la base d'apprentissage.>>> que veux tu dire par 'pour l'utilisation' ?C'est-à-dire que j'entraîne séparément un petit nombre de réseau (3 par exemple), puis une fois l'entraînement terminé, lorsque je voudrais reconnaître un chiffre, je le présente aux 3 réseaux et je compare leur résultats pour savoir quel chiffre a été reconnu majoritairement...>>> Hopfield + PMCC'était juste une idée comme ça, et de toutes façons vu que je ne risque pas d'avoir le temps de la tester...>>> KohonenJ'ai donc commencé mon réseau. L'algorithme fonctionne, mais je n'ai pas encore paramétré le tout, donc pour l'instant le réseau étant tellement 'basique' qu'il n'y a aucun résultats satisfaisant !La carte s'organise un peu, mais seulement quelques neurones particuliers sont choisis comme vainqueurs (je veux dire par là que certains neurones ne sont jamais choisis comme vainqueurs, même sur près de 1000 exemples...). Enfin bon, vu que je n'ai encore rien réglé, ça ne m'étonne pas !@+,Matthieu

matmdx · Answer

>>> KohonenAprès paramétrage, ça me semble un peu mieux, mais pas tant que ça quand même...Après quelques itérations j'observe des taches de neurones activées sur la carte, mais ces regroupements ne correspondent pas du tout aux chiffres !En augmentant le nombre d'itérations, les neurones activés se séparent pour se répartir uniformément sur la carte, mais là encore un même neurone activé reconnait plusieurs chiffres, donc ce n'est pas concluant...Matthieu

franky* · Answer

Ah Ah !Ben oui, mais c'est normal...Si tu essaies de te mettre à la place de ton réseau, en ne t'accordant que ses capacités, tu vas voir qu'il est très difficile de reconnaitre quelque chose d'aussi compliqué qu'un chiffre !Mais je t'avais déjà parlé de la nécessité d'un prétraitement des données : c'est là que c'est nécessaire. Ce que tu vas tenter de reconnaitre, ce ne sont plus des chiffres, mais des points particuliers de ta matrice. Par exemple, un "3" possède (en première approximation) deux extrémités dans les cartiers "nord-ouest" et "sud-ouest", et un point de rebroussement à peu près au milieu... Et en deuxième approximation (c'est-à-dire en complexifiant ton réseau, puisque tu lui donne plus de choses à reconnaitre), tu peux ajouter par exemple les "orientations" des extrêmités.Une fois le prétraitement effectué, tu vas avoir des objets "plus simples" à reconnaitre, dans le sens où ils auront des caractéristiques qui correspondent mieux à ce que peut reconnaitre une carte auto-organisatrice.Evidemment, le but du prétraitement n'est pas de fournir quelque chose de très précis, sinon, tu serais déjà en train de reconnaitre le chiffre, sans avoir besoin de passer par un réseau de neurones... Donc il ne faut pas accentuer un 3 parce que c'est un 3 et qu'il ne doit pas ressembler à un 8. Ce qu'il faut, c'est vraiment accentuer les caractéristiques des caractères écrits en général, pour pouvoir ajouter une lettre ou # ou $ indifféremment, et que ton réseau (après apprentissage) soit capable de le reconnaitre !Par contre, je n'ai aucune idée du (des) "meilleur(s)" prétraitements qui existent pour les caractères, mais il y a surement plein d'exemples même sur internet. [Johann, si t'as une idée...]A+

matmdx · Answer

Ah OK, cette fois le message est passé (je n'avais pas relu les anciens messages depuis que j'avais réussi l'algo de Kohonen...).Donc si j'ai bien suivi, il faut (par exmple) que j'augmente le contraste des images en entrée...Sinon, j'ai modidifié la représentation de la carte que l'algo fournissait après l'apprentissage, et en fait les résultats sont légèrement meilleurs que ceux que j'annonçait précédemment...On voit bien certains neurones qui ne s'activent que pour un chiffre particulier, par contre il y a toujours des neurones "atracteurs" qui ramassent un peu de tous les chiffres...

franky* · Answer

>>Donc si j'ai bien suivi, il faut (par exmple) que j'augmente le contraste des images en entrée...Ben en fait... non, je crois pas que ça marche bien, ça (mais là,on est à la limite de mes connaissances sur le sujet !)Je crois aussi que je confondais 2 solutions, donc je vais essayer de les expliquer toutes les deux, à toi de voir ensuite ce qui convient le mieux. Ou alors Johann, si tu passes par là, tu peux me corriger...1) le réseau de Kohonen te sert pour le "prétraitement" (qui n'en est pas un dans ce cas !), c'est-à-dire que tu l'utilises comme tu le fais maintenant, il sépare plusieurs catégories reconnues, mais tu ne peux pas lui demander de reconnaitre des chiffres ou autres caractères : tu es obligé ensuite d'ajouter un petit algorithme qui, en fonctions des catégories reconnues (donc des caractéristiques de ton image), t'indique de quel chiffre il s'agit probablement. Par exemple, si tu as un neurones qui correspond généralement au 3 et au 8 (donc qui reconnait la forme globale à droite) et un autre qui correspond au 3 et au 7 (reconnaissance de la partie en haut à gauche, par exemple), ton algorithme pourra en déduire qu'il s'agit d'un 3. Seul problème "fondamental" : ça t'oblige à ne pas avoir 1 mais plusieurs vainqueurs. Sinon, c'est certainement la solution la plus simple pour transformer le réseau que tu as déjà. On pourrait également imaginer (mais là, ça va assez loin) que l'algorithme de post traitement soit lui-même un RN (comme ça, l'apprentissage est automatique et tu t'embètes pas).Néanmoins, ce n'est pas la solution que je recommende !2) Tu fais un prétraitement "à la main" (donc un algo simple), mais pas du style "contraste accentuer", plutôt quelque chose qui te transforme ton image d'entrée compliquée en 64*64 pixels (je sais plus combien tu as, en fait), en un image très simple, qui ne contient que des informations essentielles : pour reconnaitre des chiffres, je verrais bien une simple matrice 3*3 avec dans chaque case une information du style {absence de trait, extrêmité, trait continu}. Evidemment, si tu voulais reconnaitre tous les caractères du clavier, il te faudrait beaucoup plus d'informations pour pouvoir les séparer plus efficacement. Mais là, tu as seulement 27 matrices différentes possibles, et pourtant, ça devrait être suffisant pour la reconnaissance (si ça ne l'est pas, tu peux toujours complexifier ces matrices).Une fois que c'est fait, c'est cette matrice que tu présentes à ton réseau de Kohonen, qui lui possédera peut-être 5*5 ou 10*10 neurones (peut-être plus, peut-être moins, j'en sais rien : là encore, il faut expériementer !). Et cette fois-ci, ce sont bien des chiffres que tu vas reconnaitre ! Sous forme de zones, plutôt que sous forme de neurones particuliers : si le neurone vainqueur est en plein milieu de la zones du 3, c'est un 3. S'il se trouve à la frontière des zones du 3 et du 8, t'en sais rien, mais ça voudra dire qu'il est très mal déssiné... Donc le post-traitement, pour savoir quel est le chiffre trouvé à partir du neurone gagnant, est très simple !Cette solution me parait beaucoup plus élégante, et également adaptée à la notion de carte auto-organisatrice.Et ce que je te disais précédemment, sur le meilleur pré-traitement possible, c'est juste savoir comment découper ton image : pour identifier des chiffres, ça doit être extrêmement courant, et plein de solutions doivent circuler sur internet. Et peut-être qu'il est mieux de découper ton image en une matrice 4*3 en ne retenant que l'orientation des traits, et non pas leur présence/absence + extrêmité ou pas, ça, je n'en ai aucune idée.Je crois que j'ai été un peu plus clair, là :-)Bon courage !

matmdx · Answer

>>> Solution 1C'est celle que j'envisageais de réaliser à terme, avant que tu ne me parles de prétraitement...>>> Solution 2OK je vois ce que tu voulais dire...J'essaierais ça quand j'aurais un peu de temps (sur semaine c'est un peu dur), et comme j'ai plein de trucs à essayer sur ce réseau... Et puis il faut aussi que je finisse les mesures sur le PMC...Mais tu sais les images que j'ai font seulement 8*8 et sont donc déjà très simples...@+,Matthieu

johann · Answer

Bon, ben je vois que Franky à le cours d'Hervé dans la rétine... J'ai pas dit sous les yeux !!! A votre avis, le souvenir visuel siège dans dans V1, V2, V4 où alors c'est plus complexe ?Moi c'est solution 4, interaction des 3 aires visuelles avec des cartes associatives, voire même auto-associatives dans l'hypocampe... Pour re-situer le souvenir... Enfin, la mémoire, de façon globale, est une belle inconnue (un peu à la manière de celle que j'attend de rencontrer, bref...)Dis, Franky, tant qu'à lui donner des exemples inspiré du cours, on peut lui donner la page, c'est pas un secret...http://www.ese-metz.fr/~frezza/ (Mais il a les veuch' beaucoup plus courts, maintenant...)Tu me dira, vu le gaillard de Freeza, je comprend que tu ais mieux retenu les SOM que les MLP... Moi mon système lymbique était activé rien que par la présence de Frédo, ce qui déclencha des flot de décharge d'acétylcholine, modalateurs mnémoniques.... (Enfin modulateur d'expression génétique, mais au final, ça revient à de la mémoire...)Bon, POUR REVENIR AU THREAD... Mat [34]-> Evidemment, si tu fait varié le nombre de neurones cachés, tu ne peut pas utiliser les mêmes paramètres. Mais courbe 3D (si jamais elle a un sens dans ces conditions) sera toujours plus juste si tu ne fait varier qu'un seul paramètre (a) à la fois, plutôt (oui le chien de Mickey) que 15000 à la fois (c'est à dire TOUS les poids. Mais il faut, pour être exaustif, faire l'expérience en multiples point de l'espace des poids, pour une seule valeur du nombre de neurones cachés... Et recommencer ainsi pour chacune... A chaque fois concerver le meilleur résultat. Si tu obtient des résultat significatif, fait le nous savoir. Et ça prendra peut-être moins de temps de chercher le "théorème" dont je t'ai parlé. S'il existe.Encore une fois, je veux bien croire qu'il existe un 'a' optimal en terme de temps de convergence sur une base donnée, et pour un réseaux donné, mais j'ai du mal à concevoir que ça puisse ce généraliser. Corollaire : en un temps fini, n'importe quel 'a' fera l'affaire...->overfitting : Plutôt (encore ce chien!) que de parler d'apprentissage forcé, je parlerais de sur-entrainer, à répétition, ton réseau, pour voir "jusqu'où il faut s'arrêter." OK, vite dis, ça revient au même...***Franky [38]-> exemple 1) Il n'est pas question, lors de la reconnaissance, d'avoir "1 vainqueur" !!! Il y a un taux de reconnaissance par neurone, basta.A l'utilisateur de voir ce qu'il veux en faire, un winner takes all, pkoi pas, mais rien n'oblige, au contraire !!!Et en l'occurence (quelque soit le prétraitement) un MLP par dessus peux se justifier... Afin de déterminer automatiquement quel sont les "connexions" à établir entre les activations des différents neurones de la SOM...Voire même, un onzieme neurone pour dire "je sais pas".-> Même en 8*8 tu peux appliquer les conseils de Franky... Et de Hervé.Néanmoins, mon ami, ne feraisse pas une "matrice" 3*3*3 binaire, soit 27 entrée (ce qui n'est pas un soucis Mat, je chambre Franky :P)A part ce détail, F, tu m'as paru très clair, même que tu m'a remis des choses en ordre !! :DVoilï voîloù....PS : c'est quoi se forum où on écrit en pates de mouche, c'est un coup à faire plus de fautes qu'on ne le crois... J'suis hypermétrope, et mon réseau électrique foireux brouille l'écran périodiquement...  lolPPS : j'attend toujours la réponse au mail que j'ai envoyé samedi en ton nom. Mais t'inkièt "il" n'est pas très réactif sur l'adresse perso... (Au pire je le spamme sur l'adresse pro >:)   )

franky* · Answer

Dis donc, toi, avant de me charrier, lis ce que j'écris ! :-p-> J'avais déjà donné l'adresse, y'a un moment-> pour l'exemple 1, j'ai jamais dis qu'il y avait 1 vainqueur !C'est pour l'exemple 2 que je l'ai dit, ce qui me semble assez réaliste : vu la manière dont est réalisée la compétition, on a toutes les chances (bon, OK, c'est juste intuitif) d'avoir une "bosse" à un endroit sur la carte, et son sommet correspond à la valeur reconnue (en fait, la carte sera surement trop petite pour qu'il y ait 2 "bosses")sinon, une "matrice" 3*3*3 binaire, ça fait bien 2^27 entrées et pas 27, mais de toutes façons dans notre cas, on a une matrice 3*3 avec trois valeurs exclusives possibles, soit 3^9 entrées différentes... On coupe la poire en 2 ? ;-)Merci quand même pour le compliment :-)))Et pour ton PPS : après vérification, tu ne m'as pas envoyé de mail samedi... T'aurais pas quelques connections en trop ? C'est les fils qui se touchent un peu ?

johann · Answer

Désolé pour l'histoire du lien, j'avais la flemme de tout relire.Pour les vainqueurs, si si !! J'te jure [quote]ton algorithme pourra en déduire qu'il s'agit d'un 3. Seul problème "fondamental" : ça t'oblige à ne pas avoir 1 mais plusieurs vainqueurs[/quote] c'est bien dans ton 1èrement, ça ?Ce que je disais, c'est que le winner takes all n'est obligatoire que pendant l'apprentissage, pour simuler la bulle d'activité qui résulterais de la concurence si on la laisser jouer.Même si on choisit souvent le vainqueur lors de la reconnaissance, ce n'est pas obligatoire.Et y'a pas de compétition en Kohonen, elle est justement, simulée. Les connexion latérales ne sont là que pour induire la topologie, contrairement à la CNFT (qui ressemble beaucoup) où là y'a vraiment une copèt, mais qui demande beaucoup plus de cyle pour être évaluée (en plus y'a pas de critère d'arrêt clairement défini).Toi aussi t'a la charrue facile, l'ex-électronicien que je suis considère qu'une entrée c'est un fil qui ammène une valeur de tension.Selon cette définition c'est bien 27 entrées qui peuvent prendre, en binaire, 2^27 ETATS possibles. Mais bon, ça tourne au chipotage !!Ok pour la poire !Je raisonnais en binaire parceque c'est... assez logique en informatique, non ? Bref, on s'en fout.Le mail : MOUARF !! Je parlais à Matt !!! Mais comme j'ai pas précisé, j'avoue que ça a du te faire drôle....

matmdx · Answer

Retour sur le PMC :J'ai réalisé de nouvelles mesures sur mon PMC, cette fois-ci en fixant le nombre de neurones de la couche cachée (50 neurones), et en faisant varier les 2 autres paramètres (à savoir a, le coefficient de la sigmoïde, et b le coefficient d'apprentissage).J'obtiens les résultats suivant :http://site.voila.fr/updt/tipe/tipe.htm(cette fois-ci j'ai mis les courbes en 3D avec une animation pour que vous puissiez bien voir..., ainsi qu'un tracé en courbes de niveau...)Les résultats sont assez étonnant (pour moi en tout cas) : il semblerait que pour un coefficient choisi, il existe forcément une valeur de l'autre qui permette d'avoir le minimum (de temps de calcul et de test sur la base), ce minimum étant commun à tous les couples de coefficient (je sais, j'explique pas très bien , mais bon les tracés parlent d'eux mêmes...).En faisant une petite regression, je trouve la relation (plutôt simple) entre a et b pour qu'il y ai minimum :racine(b)*a=1/10Il me reste à voir si cette relation est toujours valide si je refais les mesures avec une autre valeur pour le nombre de neurones de la couche cachée, et s'il est toujours valable si je change le nombre d'exemples avec lesquels je fais l'apprentissage (ici je l'ai fait seulement avec 1000 exemples...).Voila pour le moment,Matthieu

franky* · Answer

Salut,Super, ton petit site avec les animations !>> Les résultats sont assez étonnant (pour moi en tout cas)Eh ben moi, pas du tout !Voir là : http://www.commentcamarche.net/forum/affich-1062042-Programmer-un-r%E9seau-de-neurones#23Et en particulier :"J'en déduis (mais c'est à vérifier) que si tu peux obtenir un résultat en un temps donné avec une faible valeur de a, donc une sigmoïde "étirée", tu dois pouvoir obtenir le même résultat avec une sigmoïde "normalisée" (a=1), dans le même temps, juste en jouant sur le taux d'apprentissage b ! (dans ce cas, b sera plus faible). Peut-être que tu as fait ton test avec une valeur de b fixée qui favorisait effectivement a=0,115. A ce moment là, on retombe sur le problème de l'optimisation de b."Bon, je sais, c'est un peu prétentieux de se citer soi-même, mais c'est pour pas tout réexpliquer...En tout cas, ça explique très bien ce que tu observes : un minimum constant, avec plein de couples {a,b}.On voit aussi que ta relation rac(b)*a=constante correspond à ce qu'on attendait : si on augmente a (donc on "rétrécit" la sigmoïde), il va falloir un "grain" plus fin dans la recherche des bons poids, c'est-à-dire un plus faible taux d'apprentissage b. C'est vrai que la relation parait simple, mais là encore, ça n'aurait rien d'étonnant si elle était exacte. Je ne dis ça que de manière intuitive : on pourrait prouver formellement (ou pas !) que ça marche, en poussant assez loin une analyse mathématique, mais ce serait perdre du temps pour rien. En effet, une analyse qualitative (ton dessin, en plus de l'intuition que j'avais eue au début) montre que l'on a une relation du style FonctionCroissante (a) * FonctionCroissante (b) = cte, et peu importe de savoir laquelle, d'autant plus qu'en général, ce genre de relations est très souvent simple, justement (ça, je l'ai appris en mécanique des fluides, et en étudiant l'épistémologie).Et c'est alors une très bonne idée de faire d'autres expériences pour pouvoir la confirmer (plutôt qu'une preuve quantitative), sauf que tu ne pourras pas, dans ton cas, affirmer plus que ton résultat actuel. Je m'explique : si tu trouves toujours une relation  rac(b)*a=constante , tu ne seras pas plus sûr de sa validité que maintenant, car les nouvelles expériences seront trop proche de l'ancienne (tu te contente de faire varier le nombre de neurones de la couche cachée, alors que pour valider d'équation, il faudrait chager entièrement le réseau, et même le problème posé !)Bref, tout ça pour dire que tu ne peux pas (lors de l'oral) affirmer que cette equation est juste, mais qu'elle l'est certainement, et que c'est justifiable.Avant de faire une nouvelle expérience, essaie plutôt de suivre une méthode "plus scientifique" : pose des hypothèses !Autrement dit, demande-toi quels résultats tu vas obtenir (et par la même occasion, si les expériences que tu veux faire sont bien nécessaires...)A mon avis (encore une fois, je ne me suis pas penché plus que ça sur la question), changer le nombre d'exemples de la base d'apprentissage ne te donnera pas de résultats exploitables (sauf si tu as une idée de ce que tu veux prouver avec, idée que je n'ai pas eue). Par contre, changer le nombre de neurones cachés est excellent : cela permettrait de prouver l'idée (explication intuitive) que j'ai citée en début de post, dont un corrolaire (à vérifier !) est que tu vas conserver la constante de 1/10, mais que le minimum de temps de calcul va varier, lui. Et tu vas ainsi pouvoir obtenir le nombre de neurones optimal, non plus en refaisant un graphe à chaque fois pour voir le minimum, mais en ne prenant qu'une valeur de a et b, puisque tu auras prouvé que dans tous les cas (de a et b), le minimum est le même.Voila, formellement ça ne change rien, mais les examinateurs apprécieront la démarche ! :-)A+

matmdx · Answer

Bon OK tu as gagné ! ;-) C'est vrai j'ai été un peu bourrin sur les mesures, mais bon au moins comme ça j'ai des résultats concrets à présenter ! >>> "Et c'est alors une très bonne idée de faire d'autres expériences pour pouvoir la confirmer (plutôt qu'une preuve quantitative), sauf que tu ne pourras pas, dans ton cas, affirmer plus que ton résultat actuel. Je m'explique : si tu trouves toujours une relation rac(b)*a=constante , tu ne seras pas plus sûr de sa validité que maintenant, car les nouvelles expériences seront trop proche de l'ancienne (tu te contente de faire varier le nombre de neurones de la couche cachée, alors que pour valider d'équation, il faudrait chager entièrement le réseau, et même le problème posé !)" <<< Je sais très bien que la formule que j'ai trouvé ne sera .pas valable avec d'autres réseau (ou d'autres modèles d'apprentissage), mais ce que je voudrais voir c'est, pour ce réseau, si la formule est toujours (je sais pas si ça va me servir à grand chose, mais tant qu'à être bourrin, autant l'être jusqu'au bout !) Sinon pour les mesures, c'est trop tard : elles sont faites (les PC ont tournés un peu cette nuit...). A première il semblerait donc que le nombre de neurones de la couche cachée, et le nombre de modèles d'apprentissage n'aient pas d'influence sur la localisation des minimums de la courbes ! La formule serait donc tout le temps vraie (pour ce réseau bien sur !!) (résultats à vérifier). @+, Matthieu

sarah · Answer

je voudrais programmer un RBF et l'utiliser pour la detection de tumeur, et cela a partir d'une image segmentee.

franky* · Answer

Bonjour Sarah,je ne connais rien aux tumeurs, et je ne sais pas comment tu segmentes ton image... Donc explique un peu plus précisement ton problème, comme ça on pourra peut-être t'aider !De rien,François

SARAH · Answer

merci de m'avoir consacrer de votre temps si présieux bon mon sujet est l'interprétation des images médicales avec le reseau RBF càd  : l'étape de segmentation de l'image nous permet d'obtenir ses caracteristiques qui representent les entrées du réseau et comme sortie je doit avoir le resultat de la detection (l'existence du tumeur) je comprend le mécanisme du RBF (càd je represente les entrées=les caracteristiques de l'image commes des vecteurs ;une seule couche cache; deux neurones dans la sortie par exple )mais ce que je cherche combien de neurones dans la couche cachéeet comment la construire càd comment appliquée la fonction  gaussienne et surtout dans l'implémentation du reseausvp explique moi bien et meme si ta une documentation interessente dans le domaine envoyez la car je suis pas forte en programmation en builderc++                                                              merci

SKZ81 · Answer

Neurone RBF -> Bien !!! Puisque tu cherche à faire le rapprochement avec une valeur "prototype" de ton vecteur.Combien de neurones -> Autant que de classe disctincte dans ton corpus d'apprentissage. Càd que si deux exemples se ressemble, ils peuvent être reconnu par le même neurone, donc il n'y a qu'une seule classe.Gaussienne -> Tu fixe l'écart type au départ, puis tu lance l'apprentissage pour déterminer automatiquement le centre de chacune (point qui sera désigné comme "prototype", c'est à l'exemple que le neurone reconnaitrait à 100% (mais qui n'est pas forcément un des exemple de la base d'apprentissage).Ceci dis, si tu fait du monocouche, je t'invite à relire tout ce qui a été dis à propos des cartes auto-organisatrices (Self Organising Map, Carte de Kohonen).Il existe ensuite des algos comme GNG (Growing Neural Gas) qui déterminent automatiquement le nombre de prototypes (donc le nombre de neurone de la couche cachée).Par contre, la couche de sortie est-elle bien utile ???Cela dépend du problème. Soit un "nouvel exemple" (de test) ne peux ressembler qu'à un seul exemple (prototype) reconnu par le réeau, alors la couche de sortie est inutile. Un p'tit algo qui vérifie s'il un des neurones est suffisemement activé, lequel, et TAC !! Tu y est.Plus complexe, si un exemple de la base de test (ou en exploitation) peut-être une sorte de "mix" de deux prototype, alors là oui, la couche supplémentaire est nécessaire.Tu pourra t'en rendre compte facilement, une fois le GNG appliqué, l'apprentissage effectué : Tu passe ton corpus de test, et pour chaque exemple (tu peux, préférentiellement, faire un p'tit bout de code qui le fait à ta place) vérifie combien de neurone sont activés, le ratio relatif, etc...Fait quand même aussi gaffe aux contre-exemples (genre pour une image d'un type sain, il faut qu'aucun neurone ne soit activé, si pourtant un ou quelques neurones présentent une forte activitée), alors une couche supérieure est nécessaire.Comme couche supérieure, je verrais plus un (voire des) neurones type "sigmoîde" (perceptron, EVENTUELLEMENT multi-couche).PS : Fanky* : ils vont bien agents ? Ils émmerge un peu ou quoi ?? ;°)

franky* · Answer

>> PS : Fanky* : ils vont bien agents ? Ils émmerge un peu ou quoi ?? ;°)Ils émergent autant que moi... C'est-à-dire quand ils ont le temps...Nan, sérieusement, ça marche très bien en ce moment, et autant que mon message soit utile : si quelqu'un veut utiliser des systèmes multi-agents, utilisez NetLogo (gratuit) -> des super programmes en 30 lignes de prog !!!!! 8-)

matmdx · Answer

Quelques petites nouveautés...J'ai illuster la procédure d'apprentissage du PMC en fixant tous les poids de mon réseau, sauf 2 poids que je faisait varier... En testant pour chaque couples de poids le nombres d'erreurs sur la base de test, j'obtient de très belles surfaces qui représentent des puits de potentiel (comme on pouvait s'en douter).Ensuite j'ai fixé les valeurs de ces 2 poids de telle sorte à avoir une grande erreur, puis j'ai lancé l'apprentissage, en ne modifiant que ces 2 poids avec la procédure classique, et en gardant toujour sles autres poids fixes : on peut ainsi représenter l'évolution du réseau sur la surface précédente, et on remarque bien qu'il évolue vers un minimum de potentiel ! (encore heureux, sinon tous les calculs théoriques sur le sujet seraient faux !)Vous pouvez retrouver ces courbes sur mon mini-site :http://site.voila.fr/updt/tipe/tipe.htmJuste un petit problème : j'espérait pouvoir trouver des courbes de potentiel avec plusieurs minimum locaux, mais malheureusement je n'ai pas réussi  (et pourtant j'en ai essayé plein...)... @+,Matthieu

SKZ81 · Answer

Bon vous avez dis que des choses intelligentes avec les quelles je suis d'accord (d'ailleurs, Francky, +1 pour ta méthode. Ceci dis, juste une chose : je ne pense pas que calculer la surface soit un pb, il suffit de passer la base de test une fois pour chaque "couple de poids variable". En une nuit de simu, si t'as pas une courbe à plusieurs minima, engueule ta copine, Mat')Que des choses intelligentes disais-je, donc je trolle :Mat >> de très belles surfaces qui représentent des puits de potentiel T'as fait trop de physique quantique, toi.. T'as réussi, l'effet tunnel??? ;°)Franky,18:37 GMT+1  >> j'ai des circonstance atténuantes !!! :-ppp Déjà !!!  :-P

matmdx · Answer

>>> Tu n'as qu'à faire plusieurs essais avec des poids au hasard, tu finiras bien par tomber sur un cas avec 2 minMais c'est ce que j'ai fait !!! Et je n'ai jamais eu 2 minima !>>> En une nuit de simu, si t'as pas une courbe à plusieurs minima, engueule ta copine, Mat')lol   ;-)

amel · Answer

bonjour a tous; je suis etudiante en 5 émé année ing en informatique je prépare mon logiciel dont le théme :" La fouille de données médical par les resux de neurone" plus exactement avec les cartes kohonen je ne sais pas d'ou je commence  j'ai fait la codification en binaire ...j'ai besoin de votre aide la plus tôt possible .merçi Beaucoup

franky* · Answer

Salut Biba,Pour autant que je me souvienne, il y a une interface graphique (très mal faite, du moins sous Matlab 6.5, certes, mais bon, ils ont appelé ça une interface graphique...) très simple d'utilisation :Pour l'ouvrir, tu tapes nntool dans la fenêtre de commande.Ensuite, tu te laisse guider (de toutes façons, l'aide est très bien faite, si tu lis l'anglais...) ; en gros, tu importes tes données (jeux d'entraînement, etc) à l'aide du bouton "import" en te plaçant soit dans "imputs", soit dans "target" (tu peux aussi importer un réseau entier...), puis tu crées un réseau ("new network", évidemment). Une fois ton réseau créé, tu peux l'utiliser (double clic ou "view"), en modifiant l'onglet "train" (laisse tomber "simulate" et "adapt" pour l'instant).Et hop ! C'est magique...

florian · Answer

salut a tous voila je suis etudiant mecanicien mais je dois faire un exposé sur les réseaux de neurone j'aurais besoin pour cela de doc bien faite et d'un petit exemple simple et bien fait pour l'expliquer lors de la soutenance si qq pouvait m'aider ca serait top merci d'avance...

Mourad · Answer

salutvoila je suis mecanicien et je travail sur les RN actuelement sur l'algorithme de Kohonen pour trouver le chemin optimal etle plus cours dans un nuage de point (probleme de voyageur de comerce). le probleme c'est que j'arrive pas a trouver l'interpretation de l'algorithme pour le programmer sur matlab. si quelqu'un pourra m'aider a trouver la doc des cours de l'algorithme de kohonen et de l'application de ce dernier sur matlab je serai tres reconaissant surtout s'il existe des exemple detailes. merci d'avance et a +

infotipe · Answer

bonjour xavier, je voulais savoir s'il était possible que tu m'explique comment programmer un réseau de neurones car je dois programmer un programme de reconnaissance de caractères (sous CaML) et je ne sais pas du tout comment modéliser un réseau de neurones (tableau, matrices, quels arguments a-t-il ?) ou peut-être aurais-tu un site à me proposer. Je serai interessé aussi par un code dans n'importe quel language !!!!Merci de ton aide.

karim · Answer

salut xavier ,
si tu as le logiciel" Matlab" tu peux voir une section qui s'appelle "neuronal toolbox" dans laquelle tu peux trouver plusieurs exemple de réseaus de neuronnes ainsi que des schémas. nb: tu peux aussi créer des réseaux de neurones avec "Matlab" .

Akyso · Answer

Bonjour

J'ai programmé un PMC chez moi
(1 couche d'entree, 1 couche cachée et une couche de sortie)
Il fonctionne assez bien pour des choses simples (+ - / x)
Mais je crois que je fais une erreur dans le concepte
Dites moi si je me trompe:
Le nombre d'entrée d'un neurone d'entrée est égale à la grille (8*8)
Si je dois reconnaitre 4 caractères, j'ai 4 neurones de sortie
La liaison entre couche entrée et caché est complete
La liaison entre couche cachée et sortie est complete
Ma fonction pour chaque neurone est 1/(1+(e(-x))


Et biensure une derniere chose, ma grille de 8x8 est constitué de 0 et de 1, mais voulant coder les niveaux de gris, j'ai commencé par passer par une valeur variant de 0 à 1. Et la, les resultats sont bisares. Normal ?

Comment on determine le nombre de neurone de la couche d'entrée? c'est 8 * 8 ??

Merci bcp pour ce forum, c'est tres interessant

EtienneB · Answer

Bonjour,
j'aimerais utiliser un reseau de neurones pour apparier un modèle 3d à une image 2d. Plus clairement, je veux à partir de l'image d'un oeil connaitre la direction du regard en utilisant une modelisation 3d de la courbure de l'oeil et de l'iris (l'axe de la portion de sphere donne la direction).
Je voudrais que le reseau de neurone donne la position du modèle 3d collant le plus à l'image de l'oeil.

Je pensais utiliser un reseau de neurone car le calcul doit être rapide (la phase d'apprentissage pouvant etre longue) dans l'utilisation que je veux en faire (une detection de la position du regard sur un ecran)

Quel type de reseau utiliser ?
Pour les entrées je dois prendre la similitude entre le modèle 3d et l'image 2d ou chaque pixel de l'image 2d ?

Merci d'avance

aptchagi · Answer

bonour à tous!

je dois écrire des algorithmes qui, à partir d'un flux vidéo, détectent un passant, distinguent  si c est une fille ou un garcon.
je dois programmer en c/c++ ou matlab ;j ai envie de les tester sur un réseau de neurones ou encore sur des DSP ou des FPGA mais je ne sais pas par où commencer.
si l'un d'entre vous peut m aider en me donnant les différentes étapes et ce qu il faut faire ca m'aiderai
ps: c est pour un stage

Merci d'avance

factx · Answer

salut j'i connais rien suis  un con mais je pense pouvoir t'aide avec ce site bon conrage 

http://maths.insa-lyon.fr/~balac/matlab/table.html
bon je risque de reste con mais bon c'est la vie @++

resus_neurus · Answer

Bonjour à tous...
Qui connait bien le "nntool" de matlab? comment importer des données d'entrées aux réseaux à partir du workspace ou à partir d'un fichier .mat? Doit-on rentrer l'algorithme des données d'entrées? Je suis pas informaticien, ni automaticien, je suis en genie electrique et j'ai besoin des reseaux de neurones pour simuler une commande predictive de température dans un bâtiment.
Pour ceux qui connaissent un peu le domaine, si je veux modéliser un bâtiment à plusieurs entrées (rayonnemnent solaire, occupants....) et à une sortie (temperature interne) à partir d'un reseau de neurones. Les données d'entrées (servant de base d'exemples) à importer, ce serait l'equation de convection regissant entre differents elements du batiment? 
Merci d'avance....

Safelex · Answer

Bonjour, 
Je cherche à programmer une équipe de foot pour la RoboCup (simulation), en utilisant un réseau de neuronnes pour l'apprentissage des différents paramètres (force de frappe, direction, vent, comportement des adversaires, ...).
Mon choix s'est porté sur les perceptrons multi couches (c'est ce qui a l'air le plus simple) mais malgré de nombreuses lectures, je ne suis toujours pas certain que ce soit la bonne solution, et l'étude des alternatives (trop nombreuses) est vraiment fastidieuse.
Serait-il possible d'avoir un avis là-dessus ?
J'ai également lu des choses sur le Q-learning. Serait-ce une bonne alternative ? Serait-ce possible de combiner les 2 ?
Merci d'avance.

Alexandre.

nicobg13 · Answer

Bonjour
je voudrais programer un réseaux de neurones mais je n'ai aucune idée par où commencer.
Si quelqu'un pouvait m'expliquer pour un créer un pas trop compliquer ça serait très sympa.
Merci d'avance!

merblue1 · Answer

Bonjour,

je voudrais savoir si c'est possible de programmer un réseaux de neurones sous "R" (un logiciel économétrique), existe t-il un alternatif de matlab est version libre?

Merci par avance

samir · Answer

la command de machine synchrone par  RN qui conu le stratigé

samir · Answer

la command de machine synchrone par  RN qui conu le stratigé

mazen67 · Answer

bonjour

pour faire l'identification un modele armax par le reseaux de neurone adaline quel fonctionne on utilise on matlab

dirtyboys · Answer

bonjour

 je ss etudiant et je fais un projet sur la vision artificielle .le but su projet est la detection d'obstacle par stereovision 

    pour cela je dois tirer une carte de disparité (disparity map) a partir de deux image .l'utilisation des reseaux de neurones est  une des derniéres méthodes pour resoudre ce probléme .cependant je sais rien sur ça et je vien juste de me lancer donc 

merci de me conseiller

dirtyboys · Answer

bonjour

 je ss etudiant et je fais un projet sur la vision artificielle .le but su projet est la detection d'obstacle par stereovision 

    pour cela je dois tirer une carte de disparité (disparity map) a partir de deux image .l'utilisation des reseaux de neurones est  une des derniéres méthodes pour resoudre ce probléme .cependant je sais rien sur ça et je vien juste de me lancer donc 

merci de me conseiller

extra.Nader · Answer

salut a tous se qui ont continuer la discussion et Merci encore pour votre consiel ou aide.
je suis un etudiant en Informatique et telecommunication à ISECS. je suis bien en programmation c++ ou java. Maintenant j'etude PHP.
pouvez vous me donner un exemple de code source java ou c++ mais c mieu qu'il soit en PHP, qui implemente un algorithme génétique,parceque j'ai un projet de fin d'etude, ce dernier a pour bute de réaliser un programme de simulation en PHP qui utilise l'GA pour l'optimisation du trafic reseaux

hasnicom · Answer

BONJOUR;je cherche de l'aide s'il vous plait
Avec qu'elle commande on peut réaliser se réseau
http://img1.imagilive.com/0208/ANN3.jpg

hasnicom · Answer

salut;merçi pour le message 
pour l'instant je veuy faire un reseau pour la prédiction ensuite je cherche la classification
j'ai fait un programme par matlab en utilisant la commande newff
mais je cherche des commande en matlab pour creé un reseau de neurone en utilisant des valeur anterieur et la valeur courante pour prédire la valeur future .le probleme avec newff chaque valeur est injecter dans tout les neurone d'entreé , mais je veut par exemple pour 4 neurone d'entree on injecte seulement une valeurcomme suit 
                                                                                            1neurone d'entreé ....x(t) seulement
                                                                                            2neurone d'entreé ....x(t-1)seulement
                                                                                            3neurone d'entreé ....x(t-2)seulement
                                                                                            4neurone d'entreé ....x(t-3)seulement

voir l'archetecture du reseau à l'adresse suivante http://img1.imagilive.com/0208/ANN3.jpg
thank youuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuu

samir · Answer

je besouin de documment pour la commende des machines synchrone a aiment permanent par  réseau de neurones
quq soie le doc pde ,world programe matlab , these parel sur ca, sit web ..................

tels · Answer

bonjour 

je veux avoir une petite explication qui demande pas beaucoup de temps sur ce qu'il faut savoir pour faire une reconnaissance de parole par les resaux de neurones

merci

walid · Answer

salu,
je suis en master et g comme projet évitement d'obstacle par reseau de neurone pour un robot mobile.
alors s'il ya quelqun qui peut m'aider à ce qui concerne la programmation du reseau par matlab car g deja fini mon reseau sur papier mais jarrive pas a le programmer sur matlab!!!!!!
merci d'avance.

ClemTB · Answer

Bonjour tout le monde,

je me suis régalé de ce thread: tres instructif dans le domaine des RN. J'ai actuellement un projet perso qui pourrais eventuellement utiliser des RN; je m'explique :

j'ai analysé le mécanisme suivant: 

1 recuprératiion d'un signal -> 2 pré-traitement du signal -> 3 symbolique -> 4 situation -> 5 réaction

pour exemple :
la phase 1 serait une camera, 2 serait un automate capable de récuperer des données traitable (echantillonage, ... ), 3 permettrait de definir quel(s) objet(s) sont en scene, 4 definirait la situation dans laquelle on se trouve et 5 la réaction appropriée a cette situation

les point 3 à 5 pourraient etre des RN non ?
d'après ce que j'ai pu comprendre la symbolique pourraient etre gérée par un kohonen, la réaction ne devant pas se faire au hasard pourrait etre gérée par un perceptron. le cas de la situation m'echappe encore un peu.

avez vous un avis sur la question ? suis-je sur la bonne voie ? est ce que le capitaine a 48 ans? 

ClemTB

nonor · Answer

bonjour à tous,
je cherche s'il y a quelqu'un qui a déjà appliquer l'algorithme DRAL "Direct Reinforcement Adaptive Learning"

sousou · Answer

bonjour, je suis étudiante en informatique je veux connaitre comment faire un algorithme de recalage des images en utilisant les réseaux de neurones.

jonbenet · Answer

bonjour à tous,

je dois faire une classification automatique en utilisant les reseaux de neurones, sachant que j'ai jamais fait ca et je sais pas ce que un reseau de neurone et surtout comment l'utiliser dans une clasification , alors s'il vous plait à toute personne pouvant m'aider , qu'elle m'aide tout simplement.
merci

najem · Answer

salut
je suis un chercheur en économie et je travaille sur les relations internationales, je veux si possible obtenir un programme standard traité sur matlab ou un exemple de programmation je suis coopératif

developpez · Answer

je cherche à optimizer un système de contorl du copresseurs centrifuge Dresser-RAND

mjouda · Answer

salut xavier
a tu une petite applcation sous matlab pour programmer un reseaux de neurones (pmc)
ou k-means
merci d'avance

tlms13 · Answer

bonjour

j'ai programmé un réseaux de neurones qui a pour but de reconnaitre des lettres, mais le problème c'est que l'erreur est trop grande. alors je me suis di peu etre que c'est a cause du nombre de neurone dans la couche de sortie, car mon réseau doit classer les 26 lettres de l'alphabet française ce qui implique que j'ai 26 classes mais pour cela j'ai fait un seul neurone dans la couche de sortie qui prend 26 valeurs.
veuillez me dire es que ça influ  ou non ?
et si c'est oui, dites moi comment faire pour que si on fait entrer la lettre A alors c'est le premier neurone qui va prendre la valeur 1 et tous les autres prennent  0 et ainsi de suite pour chaque lettre

merci d'avance 
et svp n'ésitez pas a m'aider

samisami · Answer

s'il vous plais je cherche l'aide matlab en langue français ?
 j'attends des prochaine répose.
Merci.

hd · Answer

1/ tapé nntool au fentre de winow de matlab
2/ sorte un tableau lode input and output
3/ ceat net 
in netour the are nam 
choisire l'algorithe " retoprobagation de gradien
fonction d'act
l'erreur
nobre de la couch caché
les nobre des neurones dans la couch caché
peut clic sur creat
revien a la tablu
clicé sur lr nom de votre net
sort un tablu de net
clicé sur targed
couché des input
choiser le nomber destrine and errur
clicé sur trien netowrk
ok

chahra · Answer

Bonjour
J'ai programmé un réseau de neurones en c++,mais je bloque sur l'interface en c++builder et je trouve pas une bonne documentation pour expliquer comment gérer les classes que j'ai dans mes algorithmes.
merci d'avance.

berdissa · Answer

j'ai besoin des documents sur les reseaux de neurones

jetben · Answer

bonjour
svp j'ai besoin de savoir l'application des reseaux de neuronnes dans l'otimisation combinatoire
si vous pouvez m'aider c'est trés urgent une durée de 2 jour max 
merci

toumi23 · Answer

bonjour
je veux votre aide pour fair un tp sur les RNA  Le  travail consistera à obtenir des données  informative de  la  fonction originale(  Y=cos(e-x*x)*sin (x)), choisir une  topologie adéquate,  faire  l'apprentissage du  réseau PMC à une ou plusieurs couches cachées  (Justifier  le choix) pour la fonction non linéaire attribué.   
merci.

cheherazad · Answer

voila toumi je t'ai envoyé ce dont tu a besoin j'éspère que tu la bien reçu.bon courage.

cheherazad · Answer

oui biensur

cheherazad · Answer

pour executer ce prg il suffit de le copier et de le coler dans la fenaitre de matlab.

cheherazad · Answer

salut
et bien je vé voir pour ta fonction.il ya une couche dans le programme c'est connu que pour l'aproximation de fction on a besoin d'une seule couche avec le nombre de neurones cachés qui convient tu peut le changé pour voir celui qui te donne l'erreur minimale.une question est ce que tu a un seule x?

magibs · Answer

bonjour a tous 
j plein de question à poser ;alors la premiére c'est que je cherche un logiciel open source consernant la reconnaissance facial(visage) ...j'ai fait qq recherche et j 'ai trouvé que des logiciels libres et moi j'ai gravement besoin d'un open source....
ensuite je  fais des recherches concernant le réseau de neurone ..alors j'ai bien compri le mécanisme de fonctionnement mais j 'ai des choses pas encor évidente pour moi par exemple l'apprentissage est -il applicable pour tous l'informatique bioinspiré ?? çad dans des documents apar les réseaux de neurones ;on trouve l'apprentissage dans le réseau bayésien.. 
enfin je veux savoir c'est quoi la relation entre l'apprentissage et les lois(exemple loi de hubb)
  
 c'est encore flou pour moi alors je serai reconnaissante si qq1 peut m'aider
merci d'avance

aa123 · Answer

meme DE problem  Programmer un réseau de neurones et

choupinoussa · Answer

bonjour a tous
je suis entrain de développer un réseau de neurones et plus précisément une application de prédiction et j'ai trouvé bcp de probléme:
1. prédire quoi?? et j'aimerai bien que sa soit dans le domaine d'informatique
2.quel est le langage que j vais l'utiliser pour créer cet application?le java ou le matlab?? si le java ,alors qui peut me conseiller quelle éditeur de java je pourrai utiliser pour faire des interfaces sans écrire le code source?? 
3. je vais utiliser la rétropropagation de l'erreur avec la méthode supervisée pour l'apprentissage,alors j veux savoir comment on fait l'apprentissage?? est ce qu'on utilise des bases de donnée pour faire l'apprentissage??? 
et comment le réseau va apprendre?? théoriquement je sais bien mais pour faire le programme dois-je utiliser des fichiers,des bases ou quoi !!!!!?????

a l'aide :)))
vous voyez que je n'ai pas encore commencé et je suis déjà bloqué  ....alors je vous en prie : ))) s'il y a qqc qui peut m'aider je serai vraiment reconnaissante...et merci d'avance

irama · Answer

salut Mr

tous simplement tu peut utiliser le logiciel MATLAB, pour demmarer votr programmation.

bonne chance

Programmer un réseau de neurones

88 réponses

Discussions similaires