Macro très très lente sur 200000 lignes

Résolu
Bonsoir à tous,
Je vous expose mon problème de lenteur (approx 45 mn ou plus) à l’exécution d’une macro

Feuille « Retour » Base de donnée, Colonne « A » champs concaténer et Colonne « I » valeur à retourner.
Feuille « Saisie » Feuille de saisie d’infos sur Colonne « I » et sur la colonne « J » formule RechercheV pour récupérer les valeurs de la Colonne « I » de la feuille « Retour »

Mon souci c’est que le calcul de cette formule sur 200 000 lignes est très très long donc dans cette optique je me suis dit qu’une fois les valeurs de la f(x) RechercheV avaient été retournées je pouvais supprimer la f(x) RechercheV et remplacé par sa valeur afin d’éviter le recalcule de ces cellules néanmoins si pas encore de retour laisser la formule en Colonne « J » en attente d’informations dans la base dans la feuille « Retour »
Je ne suis pas sûr de mon code et encore moins de l’optimisation et de l’efficacité de cette syntaxe.

http://www.cjoint.com/c/FJivnPTWFLY

Je vous remercie à tous par avance.

6 réponses

  1. Contributeur
    bonjour,
    Merci, je mets des commentaires dès que possible; le principe est que pour un nombre ligne important >=2000, on évite les allers-retours chronophages entre la RAM et la carte graphique (ordi bureautique); pour cela on passe la feuille Excel en RAM en utilisant les variables-tableaux: les AR ne se font plus qu"entre le processeur et la RAM car la bande passante entre les 2 est très rapide.
    L'utilisation du dictionary évite une recherche longue dans la colonne (ici A)
    puisqu'on demande si la donnée existe dans le dico (clé unique)--> pas de boucle pour trouver la donnée ni traitements si vide et restitution -(item) de la valeur associée à la clé.

    20 secondes pour combien de lignes ?

    pour l'objet magique dictionary, tu as des explications dans l'aide en ligne de
    Microsoft (une erreur sur remove)


     Michel
    0
    1. Un très grand Bravo Michel,

      Tout simplement bluffant, exceptionnel de rapidité ce code, en lieu et place des 114 ou 122 minutes tout est réaliser en 20 secondes maximum pour le même nombre de lignes.
      J'essaye de comprendre le code et surtout l'objet "Objet dictionary" et sa programmation.
      J'insiste mais vraiment un très très grand merci à toi.
      Je continue de ce pas à faire évoluer mon classeur.

      De manière plus globale merci à frenchie83 pour le temps passé et son code que je n'ai pas su appliquer.
      0
      1. Contributeur
        Bonjour à tous

        env 2/10 seconde sur le classeur fourni

        Sub ccm_mm()
        Dim Derlig As Long, T_cola, T_coli, D_retour As Object
        Dim Cptr As Long, Ref As String
        Dim T_colf, T_colj

        Dim Start As Single

        Start = Timer
        Application.ScreenUpdating = False

        With Sheets("Retour")
        Derlig = .Columns("A").Find(what:="*", searchdirection:=xlPrevious).Row
        T_cola = .Range("A2:A" & Derlig)
        T_coli = .Range("I2:I" & Derlig)
        Set D_retour = CreateObject("scripting.dictionary")

        For Cptr = 1 To UBound(T_cola)
        Ref = T_cola(Cptr, 1)
        If Not D_retour.exists(Ref) Then: D_retour.Add Ref, T_coli(Cptr, 1)
        Next
        Set T_cola = Nothing
        Set T_coli = Nothing
        End With

        With Sheets("Saisie")
        Derlig = .Columns("A").Find(what:="*", searchdirection:=xlPrevious).Row
        T_colf = .Range("E3:E" & Derlig)
        T_colj = .Range("J3:J" & Derlig)
        T_cola = .Range("A3:A" & Derlig)
        For Cptr = 1 To UBound(T_colf)
        If Not D_retour.exists(T_cola(Cptr, 1)) Then
        T_colj(Cptr, 1) = "MAJ EN ATTENTE"
        Else
        If T_colf(Cptr, 1) = "pas de fax" Or T_colf(Cptr, 1) = 0 Then
        T_colj(Cptr, 1) = 0
        Else
        T_colj(Cptr, 1) = D_retour.Item(T_cola(Cptr, 1))
        End If
        End If
        Next
        ' a passer en "J3" apres essais
        .Range("K3").Resize(UBound(T_colj), 1) = T_colj
        .Activate
        End With

        Application.ScreenUpdating = True
        MsgBox "durée: " & Timer - Start & " secondes"

        End Sub

        0
        1. Bonjour Michel,

          Merci, je regarde et je teste ton code sur le classeur à plusieurs centaines de milliers de lignes ce soir et je te donne des nouvelles au plus vite. Pourrai-je avoir des commentaires sur les différentes ligne de ton code pour en connaitre toute la subtilité et surtout pouvoir progresser en vba.

          Merci pour ta réponse et à très vite.
          0
      2. Bonjour à tous et à frenchie83,

        Je viens de tester le code sur un classeur à 138000 lignes malheureusement la macro tourne 114 ou 115 minutes avant de se terminer.
        Jai bien compris que tu as remplacé la formule RechercheV dans les cellules de la colonne "J" par Vlookup en vba
        Ai-je mal compris tes modifications ?
        0
        1. Bonjour Frenchie83,

          Je te remercie de ton intervention je vais tester ta syntaxe et je te fais un retour dans les plus bref délai.
          Je vais en profiter pour décortiquer les différentes parties afin de mieux comprendre la rédaction, il n'est pas impossible que je te pose quelques questions pour m'assurer d'une bonne compréhension si tu me le permet ?

          Merci pour la réponse.
          0
          1. Bonjour,
            Je vous suggèrerai d'inverser la façon de faire. En premier lieu copier la formule(colonne i) puis faire une recopie des valeurs, ensuite dans la boucle de test, si "MAJ EN ATTENTE" est rencontré, alors je réécris la formule dans la cellule pour comptabiliser les futures mises à jours.
            Ce qui donnerait:
            Private Sub CommandButton1_Click()
                Application.ScreenUpdating = False
                Dim Départ As Double, arrivée As Double, Durée As Double
                Dim mn As Long, ms As Long, sd As Long
                Dim i As Long, DernLign As Long
                Dim temps As String
                Dim compteur As Long
                Dim progression  As Long
                
                ProgressBar.Width = 0
                ProgressBar.Visible = False
                compteur = 0
                progression = 0
                CommandButton1.Visible = False
                Lbl_Wait.Visible = True
                Lbl_Maj.Visible = True
                ProgressBar.Visible = True
                Lbl_time.Visible = True
                
                Départ = GetTickCount&
                DernLign = Feuil4.Range("A" & Rows.Count).End(xlUp).Row
                Range("J3:J" & DernLign).FormulaR1C1 = "=IFERROR(IF(OR(RC[-4]=""Pas de Fax"",RC[-4]=0),0,VLOOKUP(C[-9],Retour!C[-9]:C[-1],9,FALSE)),""MAJ EN ATTENTE"")"
                Range("J3:J" & DernLign).Value = Range("J3:J" & DernLign).Value
            
                For i = 3 To DernLign
                    compteur = compteur + 1
                    With ActiveSheet
                        If Range("J" & i).Value = "MAJ EN ATTENTE" Then
                            Range("J" & i).FormulaR1C1 = "=IFERROR(IF(OR(RC[-4]=""Pas de Fax"",RC[-4]=0),0,VLOOKUP(C[-9],Retour!C[-9]:C[-1],9,FALSE)),""MAJ EN ATTENTE"")"
                        Else
                            progression = progression + 1
                            ProgressBar.Width = progression * 1.5
                            ProgressBar.Caption = progression & " %"
                            arrivée = GetTickCount&
                            Durée = arrivée - Départ
                            mn = Int(Durée / 1000 / 60)
                            sd = Int((Durée / 1000) - (mn * 60))
                            ms = Durée - (sd * 1000) - (mn * 1000 * 60)
                            temps = mn & ":" & sd & ":" & ms
                            Lbl_time.Caption = temps
                            DoEvents
                        End If
                    End With
                Next i
                
                Application.ScreenUpdating = True:
                UsfWait.Height = 185.25
                ProgressBar.Caption = "Traitement terminé"
                CommandButton1.Visible = False
                Lbl_Wait.Visible = False
                CommandButton2.Visible = True
                Lbl_Maj.Visible = False
                Img_goodJob.Visible = True
            End Sub

            Ce devrait beaucoup plus rapide. J'ai modifié le temps pour ignorer le Bug qui apparaissait, vous n'avez plus qu'à corriger.
            A tester
            Cdlt
            0