[AV-COMPARATIVES] Proactive Test Novembre 09 Résolu/Fermé

Question

Bonjour,
dernier test de Av-comparatives : https://www.av-comparatives.org/wp-content/uploads/legacy/pdfs/ondret/avc_report24.pdf

Plusieurs remportes le test avec succès, confirmant les passoires au rôle de passoire...et plusieurs antivirus font au delà de 15 fausses alerte sur une machine type (voir : https://www.av-comparatives.org/wp-content/uploads/legacy/pdfs/fp/avc_report23_fp.pdf ).


Voilà, ce n'est pas évidament le test ultime, mais une aperçu, qui est déjà bien plus réaliste que certains auters tests régulièrement cité...(IDN, 01net,...)

nihat42 · Answer

Bonjour,

Voir : Comparatif Antivirus : Scan à la demande, c'est débile!

The Lion King · Answer

Une fois de plus: débile.

Avast! est classé parmis les meilleurs, alors que 70% des personnes infectées sur le forum ont avast! en protection.
Je ne fais jamais (ou très peu) confiance au tests antivirus de "grand public", gonflés pour des raisons commerciales ou de préférences.
Comme je préfère la véritée à l'a-priori, je fais mes tests moi même.
Moi je sais qu'un antivirus te protège avec ce qu'il a dans le ventre.
Dans le cas d'avast!, c'est rien. Il a faim. 
J'ai fait donc un test: sur 454 virus récoltés de ca et de la, Avira en détecte 448, contre Avast! 320. J'ai également testé d'autres antivirus payant et gratuits sur cette même clé, demande pour les résultats si tu veux comparer.
Mon test date de quelques semaines, sur des virus récoltés au hasard sur des machines que je désinfecte un peu partout (toujours avast!, ou liveonecare, ou encore Panda ou Norton sont les antivirus les plus présents des machines infectées) .
J'en fais un tout les six mois.
De plus, j'avais pendant un temps juré que par Avast! du temps de sa (devrais-je dire: son hypothétique) "grandeur". C'était aussi le seul antivirus français. Et ben j'ai pas mis deux mois que mon PC laggait tellement que je me suis posé des questions. Scan Avira, virus virés. Scan avec NOD32, Kaspersky, plus de virus. PC normal, enfin. Donc Avast!, c'est "NEVER".

"Une machine infectée? Vous aviez Avast!, non?..."

Fais un tour sur ce forum: combien de personnes ont été infectées avec cet antivirus?
Regarder les rapport RSIT sur certains, on voit clairement "Alwil Software Avast! 4.8"...

Forum 1
Forum 2
Forum 3
Forum 4
Forum 5
Forum 6
Forum 7
Forum 8
Forum 9
Forum 10
forum 11

Je peux continuer...

Tiens, finalement continuons: je trouve ce lien très bien fait.

D'ailleurs, tape "Avira est nul" sur Internet (google). il trouve 11600 résultats.
Tapez "Avast! est nul", trouvez 40500 résultats.

Cordialement, TLK.

nihat42 · Answer

Bonjour,

Moi je pense pas 70% mais plus de 90% ....

Utilisateur anonyme · Answer

oui enfin malekal dit que c'est débile mais y à encore 6 mois de ça il nous sortez ses propres scan à la demande (et sans les détails en plus) ...

nihat42 · Answer

Si il y a les rapports à chaque fois !

The Lion King · Answer

Je fais pas plus confiance a ceux de Malekal.
Malgré qu'il ai de très bon tutos.

Lyonnais92 · Answer

Bonsoir à tous,

ce genre de topic génère son lot d'erreurs techniques.

Ca commence très fort dès la première réponse qui renvoie à un article sur l'absence de crédibilité des "scans à la demande" basés sur des malwares dont on ne sait pas si ils sont encore actifs.

Le test présenté n'est pas un test "à la demande", il est un test sur les malwares apparus dans une période de temps limité (donc actif sur cette période). Ce sont donc des test qui reflètent parfaitement les capacités des AV à déceler

Il me semble que les tests  portent sur la totalité de ce qui a été identifié comme nouvelle menace sur la période. Dans ces conditions, ll n'est pas possible d'améliorer le chiffre de détection des AV issu de ces test (c'est ce que dit la théorie statistique). Même si un autre test est basé sur un échantillon représentatif de menaces, ce test sera de moins bonne qualité.

A fortiori, il n'est pas possible d'opposer des tests personnels, avec des malwares "récoltés de ca et de la". Il n'y a aucun contrôle possible de la représentativité de cet échantillon et donc la différence entre un test personnel et le test de AV comparatives mesure uniquement le biais de sélection de l'échantillon retenu par rapport à la population totale. Encore une fois, c'est la théorie statistique qui le dit.

La deuxième erreur technique est de mettre en avant le pourcentage d'ordi infecté ayant un AV donné. Toutes choses égales par ailleurs, connaissant le taux de détection des AV et le taux de diffusion, on peut calculer le taux théorique d'ordis infectés correspondant à un AV.

Et si il reste un écart entre ce taux théorique et le taux mesuré empiriquement, celui-ci doit être analysé comme les différences de comportement des possesseurs d'un AV donné par rapport à la moyenne des internautes, différences qui les sur-exposent ou les sous-exposent par rapport au risque moyen du taux de détection de leur AV. La aussi, c'est la simple conséquence de la modélisation et de l'inférence statistique.


Mais il est tellement plus confortable de dire "X est une passoire" que de dire "voilà l'ensemble des éléments qui font que je te suggère de remplacer X par Y".

Parce que, et le test ne donne pas de résultat précis, seulement des tendances, il y a le pourcentage des malwares "oubliés" et il y a le pourcentage de fichiers sains mis en quarantaine. Et quand ce fichier sain est un élément vital du système d'exploitation, ça craint. Ca aussi, c'est connu de la théorie statistique.

The Lion King · Answer

Mais, la théorie, c'est bien beau. Ça fait joli sur la feuille. J'aurais pu répondre par quelque chose d'équivalent. Mais je vais faire plus simple.

Va dire à une personne pleurant sur le forum V/S que son antivirus est théoriquement efficace.
Je crois que tu va l'aider d'une manière incroyable.

Les autres antivirus, autres qu'Avast! et Avira, je m'y connais moins. Mais Avast!, j'y suis quotidiennement exposé. Et que j'installe Avira, Kasperky ou NOD32 après, que je fais un scan maximal, il me trouvera toujours quelques choses. Et je met des "s" volontairement, même si c'est pas français, car en 3 ans de fréquentation d'Avast!, jamais, ô grand jamais je n'ai pas trouvé qu'un seul virus sur une machine possédant avast!. Et les gens n'étaient pas de pilleurs du web. Loin de là. Et pas idiots. 

Alors quand je vois des tests antiviraux montrer Avast! en première ligne, ca me fait sortir de mes gonds.

Lyonnais92 · Answer

Re,

ce que tu réponds est de l'ordre du discours et pas de la réalité.

Ceux qui sont infectés avec Kaspersky ou Antivir pleurent tout autant. Leur nombre (relatif) ne dit rien de l'efficacité (relative) de leur antivirus. 

Une mesure de l'efficacité relative, en date de début août 2009, de détection des malwares est dans le tableau cité au post de départ. On a même une efficacité relative par type de malware.

Une mesure complémentaire, pour laquelle on n'a que des éléments qualitatifs, est le taux de "faux positifs". On ne peut pas négliger ce 2ème critère. Il est toujours possible d'augmenter le taux de détecftion des "vrais" malwares en augmentant aussi le pourcentage de faux positifs. A la limite, on obtient 100% de détection en bloquant tout. Ce serait absurde de faire ça. Mais ne pas prendre en compte ce critère dans le classement c'est autoriser les AV à le "laisser filer" pour améliorer le taux de détection.

Comme les 2 taux augmentent spontanément dans le même sens, il faut pénaliser les AV qui "laissent filer" le taux de faux positif. On ne peut pas discuter ce principe. On peut discuter du poids relatif et de l'opacité de AV comparatives sur le sujet. Mais c'est la première fois dans ce topic que la question est posée en ces termes.

The Lion King · Answer

"ce que tu réponds est de l'ordre du discours et pas de la réalité. "

C'est l'exact contraire. C'est toi qui discoure...

"Ceux qui sont infectés avec Kaspersky ou Antivir pleurent tout autant. Leur nombre (relatif) ne dit rien de l'efficacité (relative) de leur antivirus." 

Si. Il en dit long. Evidemment, pas sur le papier. Mais a fréquenter le forum V/S... Et je serai prêt à faire un test s'il était possible:

100 personnes, choisies au hasard le plus total.

Pour reprendre ton exemple, 50 avec Avast, et 50 avec Kasperky.

6 mois de surf habituel. On verrait le résultat. Ça c'est un test. Et réel. Il inclut la capacité a s'adapter au surf de l'antivirus, la rapidité des MAJ, la puissance du scanner, la potentialité de destruction et/ou de blocage.

Pour le reste, je suis globalement d'accord.

Lyonnais92 · Answer

Re,

pas du tout, ton test ne mesure pas l'efficacité de l'antivrus.

Tu ers simplement en train d'oublier que la principale menace est entre la chaise et le clavier !!!!!!!!!!!!!!!!

L'écart entre une mesure objective du taux de détection d'un AV et les pourcentages empiriques sur un forum mesurent les risques liés aux comportements des détenteurs de l' AV. Pas autre chose.

Pas la peine de faire ton test, il est fait. C'est celui de AV comparatives. Il n'est pas fait sur 100 personnes prises au hasard mais sur une infinité d'internaute surfant au hasard pendant une semaine avec l'AV dans l'état du début de la semaine.Ce qui serait intéressant serait d'avoir le taux de détection sur le même ensemble de malwares mais avec l'AV en l'état du début de la semaine d'après. L'écart mesurerait la rapidité de réaction des AV.

Par ailleurs, pour que ton test soit probant, il faudrait le faire en "double aveugle" (l'internaute ne sait pas si il a Avast ou Kaspersky).

The Lion King · Answer

"Tu ers simplement en train d'oublier que la principale menace est entre la chaise et le clavier"

Faut arrêter le délire de temps a autre.
C'est vrai, tu as raison, sur le fond. Si l'ordi est connecté au net sans logiciel de protection, il est, toi qui adooore les théories, contaminé dans les 20 minutes. Donc c'est vrai, le mec aurait du installer tout de suite une protection. Seulement, il en faut une efficace. Et de ce fait, tu ne répond même pas a ce que j'ai dit a propos de la fréquentation d'avast! .

Je le dis et répète: un test qui met avast! en avant est fondamentalement déficient.

"mais sur une infinité d'internautes surfant au hasard pendant une semaine avec l'AV dans l'état du début de la semaine."

Non: une machine reformatée a chaque test.

Quand au système double aveugle, je vois pas ce que ça changerait qu'il le sache ou pas.

Philippe · Answer

Bonjour,

Discussion fort intéressante tout cela, je m'en vais participer moi aussi avec ma petite contribution, voila une réponse de ma part à une personne me demandant ce que je pensais de Avast ou Avira, voir le détail du Post si cela vous intéresse.

https://forums.commentcamarche.net/forum/affich-15234069-mise-a-jour#9

J'utilise régulièrement Malwarabytes et de temps en temps un contrôle avec Usbfix sur les deux PC, rien à signaler non plus.

Voili, Voilou pour le reste le débat est trop technique pour moi.

Bon début de journée :-)

Philippe

Escuta os conselhos dos outros e segue os teus

Utilisateur anonyme · Answer

"contaminé dans les 20 minutes"

sa voudrai dire avec un logiciel antivirus tu as une alerte toutes les 20 minutes ?

Lyonnais92 · Answer

Bonjour,

un test qui met avast! en avant est fondamentalement déficient. 

Ecrire cela suppose que tu es en mesure d'exhiber un test qui prouve irréfutablement cette déficience.

Prouver irréfutablement a un sens très précis. Ca veut dire que tu as modélisé le problème, en particulier que tu as défini l'univers des menaces, et identifié ce qui relevait de l'antivirus et ce qui relevait de l'utilisateur, appliqué une procédure reproductible et publié le tout.

Ecrire "récoltés de ca et de la", écrire "Quand au système double aveugle, je vois pas ce que ça changerait qu'il le sache ou pas" montre que tu ne maitrisent pas les bases fondamentales qui permettent de fabriquer un tel test. Tous ceux, et dans tous les domaines, économie, sociologie, épidémiologie, ... qui sont amenés à recueillir de l'information et à l'exploiter savent que le tirage de l'échantillon et le contrôle du comportement des intervenants sont vitaux pour la qualité du résultat.

====

Moi, je vois le Soleil tourner autour de la Terre. Je sais que la Terre tourne autour du Soleil.

Au procès de Galilée, l'Eglise refuse de savoir au profit de ce qu'elle voit.

The Lion King · Answer

"tu ne maitrisent pas les bases fondamentales qui permettent de fabriquer un tel test."

Eux non plus... mais ce genre de discussion me hérisse le poil de ne pas voir les faits en face. Je sais, je suis buté, j'ai pas l'expérience de grands désinfecteurs, mais j'ai l'expérience d'un gars qui fait un constat. Et perso', ca me suffit et me convint.

Lyonnais92 · Answer

Re,

j'ai pas l'expérience de grands désinfecteurs

Ce que j'écris dans ce topic n'a rien à voir avec mon expérience de désinfecteur.

Cela découle uniquement de ce que j'ai appris et utilisé tout au long de ma vie professionnelle de la théorie de l'inférence statistique.

Cette théorie montre qu'un "constat empirique" ne permet de tirer aucun conclusion. Les conclusions découlent de la modélisation indispensable qui permet de relier les faits et les causes.

Ce que tu vois sur les forums est la résultante des capacités de l'antivirus, de l'état global de la sécurisation de l'ordi et du comportement de l'internaute.

Ces constatations ne permettent pas de faire la part de ce qui revient à chacune des ces trois causes.

Elles ne te permettent pas, ni à toi ni à quelqu'un d'autre, de tirer des conclusions sur l'efficacité des antivirus.

Elles ne permettent pas de contester une procédure de test.

Cette contestation ne peut provenir que d'une critique de cette procédure.

Le tableau de taux de détection des nouveaux malwares ne me semble pas présenter de failles.

L'analyse des faux positifs est plus contestable (le nombre de packages testés ne semble pas connus et la représentativité de cet ensemble n'est pas établi).

Le tableau de passage des résultats quantifiés des 2 tests aux Awards peut se discuter.

Lyonnais92 · Answer

Re,

pour aller où ?

Dans le monde "réel" ? 

Accéder au monde réel, c'est passer par la science, ici par les statistiques.

Sortir de ça, c'est entrer dans le phantasme.

The Lion King · Answer

"Accéder au monde réel, c'est passer par la science, ici par les statistiques. "

Erreur. Ce n'est qu'un filtre... tu peux voir les choses différemment... mais bon. Débat clos. Sinon, on en a pour deux mois.

Lyonnais92 · Answer

Re,

soutenir, en 2009, que les qualités comparées des antivirus (le seul objet de cette discussion) peuvent être établies sur une autre base que l'application de la méthode scientifique est proprement effrayant.

The Lion King · Answer

Si tu le dis.

Lyonnais92 · Answer

Bonjour,

tu proposes quelle autre méthode ?

The Lion King · Answer

J'en ai déjà proposé une.

Post #16

"Et je serai prêt à faire un test s'il était possible:

100 personnes, choisies au hasard le plus total.

Pour reprendre ton exemple, 50 avec Avast, et 50 avec Kasperky.

Rajouté: Tous les antivirus a tester en même temps.

6 mois de surf habituel. On verrait le résultat. Ça c'est un test. Et réel. Il inclut la capacité a s'adapter au surf de l'antivirus, la rapidité des MAJ, la puissance du scanner, la potentialité de destruction et/ou de blocage."

Rajouté: Puis, sur une base de données virale prise indépendamment des BDD des anti-virus, faire un autre test à l'instar du mien.

Synthétiser les deux sous une forme textuelle en présentant les résultats.

On obtiendrait alors l'antivirus le plus adapté au web, mélangeant prévention et détection.

Mais je le répète, débat clos...

Lyonnais92 · Answer

Re,

aucun apport positif par rapport au test de novembre de Av comparative

plein d'inconvénients :

- le fait d'être dans un test est de nature à modifier les habitudes (donc il faudrait adapter une méthode de double aveugle qui va être compliquée à mettre en oeuvre et ne devrait pas permettre de contrôler le "toute chose égale par ailleurs sur le système d'exploitation, les autres outils tels parefeu ou antispyware)

- il faudrait masquer le nom de l'antivirus (sa réputation, vraie ou fausse est de nature à modifier aussi les comportements)

- il faudra calculer la variance d'échantillonage (100 est probablement 10 fois trop faible, on retient un nombre minimal d'environ 1000 individus ; passer de 1000 à 100 multiplie par trois l'intervalle de confiance)

- refaire le test de AV avec le scanner en fin de période est certainement supérieur pour contrôler la vitesse de réaction (dans ta méthode, on peut espérer que, si il se fait infecter sur un site, il n'y retournera pas, donc tu biaises le test d'adaptation)

===

Je ne vois pas comment on peut améliorer le tableau sur les taux de détection.

je vois comment on peut (et il faudrait améliorer) le tableau sur les faux positifs

On peut remettre en cause le tableau de passage des pourcentages à la note synthétique;

===

Au passage, mais c'est un autre sujet, le test sur les capacités curatives des AV du même AV comparative ne vaut pas grand chose.

The Lion King · Answer

Ce genre de discussion st toujours très bête, car l'un est aussi buté que l'autre...
Ras le képi, en ce moment.
Allez, bonne soirée.

[AV-COMPARATIVES] Proactive Test Novembre 09

25 réponses

Discussions similaires

Newsletters