Scraping annuaire

Je ferais plutôt ainsi:

for page_number in range(51):
    page = f"https://www.notaireetbreton.bzh/annuaire-notaire?page=%7Bpage_number%7D"
    print(page)

Si je fais comme toi, jai :

  File "C:\Users\quent\PycharmProjects\pythonProject\scraping\TESTS.py", line 9, in get_urls

    notaire_items = html.find_all("div", {"class": "node__content clearfix"})

AttributeError: 'NoneType' object has no attribute 'find_all'

Ça marche, j'ai les 51 pages. Dans mon essai aussi ! Merci !

urls = []

import re

import pages
import requests

from bs4 import BeautifulSoup



def get_urls(html):
    notaire_items = html.find_all("div", {"class": "node__content clearfix"})
    print(len(notaire_items))

def get_all(pages):
    urls = []
    page_number = 0

    for i in range(51):
        i = f"https://www.notaireetbreton.bzh/annuaire-notaire?page=%7Bpage_number%7D"
        page_number += 1
        urls.append(i)

    return urls

def parse_notary():
    r = requests.get("https://www.notaireetbreton.bzh/annuaire-notaire?page")
    soup = BeautifulSoup(r.content, "html.parser")

    notary = soup.find_all ('div' , class_='data-history-node-id="15687"role="article')
    print(len (notary))

    for notaire in notaires:
       try:
           nom = notaire.find("node__content clearfix").text.strip()
       except AttributeError as e:
           nom = ""
       try:
           adresse = notaire.find('span', class_='adresse').text.strip()
       except AttributeError as e:
           adresse = ""
       try:
           adresse_finale = re.sub(r"\s+", " ", adresse)
       except AttributeError as e:
           adresse_finale = ""
       try:
           telephone = notaire.find('span', class_='telephone').text.strip()
       except AttributeError as e:
           telephone = ""
       try:
           email = notaire.find('span', class_='email').a.text.strip()
       except AttributeError as e:
           email = ""

           chemin = r"C:\Users\quent\PycharmProjects\pythonProject\ANNUAIRE-NOTAIRE.txt"
           with open(chemin, "a") as f:
               f.write(f"{nom}\n")
               f.write(f"{adresse_finale}\n")
               f.write(f"{telephone}\n")
               f.write(f"{email}\n")


def parse_all_notary():
    pages = get_all_pages()
    for page in pages:
        parse_notary(page)
        print(f"On scrape {page}")

parse_all_notary()






    






def main():
        url = "https://www.notaireetbreton.bzh/annuaire-notaire?page=0"
        html = get_all(url)
        get_urls(html)
main()

Erreur ligne 63 :

  File "C:\Users\quent\PycharmProjects\pythonProject\scraping\TESTS.py", line 68, in <module>

    pages = get_all_pages()

NameError: name 'get_all_pages' is not defined

Salut 

J'ai fait un rajout au message 10.

Et surtout, je n'ai pas marqué en RESOLU le sujet.

Dommage de laissé tomber si près du but, je n'ai pas fait de copier coller bêtement comme l'autre jour, j'ai suivi au pas par pas les fonctions !

Merci bien, tu es vraiment sympa de m'encourager ainsi !

import re
import pages
import requests
from bs4 import BeautifulSoup

BASE_URL = "https://www.notaireetbreton.bzh"


def get_soup(url):
    r = requests.get(url)
    soup = BeautifulSoup(r.content, "html.parser")
    return soup


def get_notary_informations(notary_url):
    soup = get_soup(notary_url)
    notary_name = soup.find("span", {"class": "field--name-title"}).text.strip()
    notary_phone = soup.find("div", {"class": "field--name-field-phone"}).text
    partial_contact_url = soup.find("a", {"class": "use-ajax"})['href']
    notary_mail = get_notary_mail(partial_contact_url)
    notary_address = soup.find("div", {"class": "address"}).text
    notary_address = re.sub(r"[\s\n\t]+", " ", notary_address).strip()
    return (notary_name, notary_phone, notary_mail, notary_address)


def get_notary_mail(partial_contact_url):
    soup = get_soup(BASE_URL + partial_contact_url)
    email_notary = soup.find("input", {"data-drupal-selector": "edit-email-to"}).get("value")
    return email_notary


def show_informations(informations, partial_contact_url=None, notary=None):
    for info in informations:
        print(info)
    print(notary)

    for notary in notary:
        try:
            nom = notary.find("span", {"class": "field--name-title"}).text.strip()
        except AttributeError as e:
            nom = ""
        try:
            adresse = notary.find('span', class_='adresse').text.strip()
        except AttributeError as e:
            adresse = ""
        try:
            adresse_finale = re.sub(r"[\s\n\t]+", " ", notary_address).strip()
        except AttributeError as e:
            adresse_finale = ""
        try:
            telephone = notary.find("div", {"class": "field--name-field-phone"}).text
        except AttributeError as e:
            telephone = ""
            try:
                notary_mail = get_notary_mail(partial_contact_url)
            except AttributeError as e:
                email = ""

                chemin = r"C:\Users\quent\PycharmProjects\pythonProject\scraping\NOTAIRES_ETUDESBRETONNES.txt"
                with open(chemin, "a") as f:
                    f.write(f"{nom}\n")
                    f.write(f"{adresse_finale}\n")
                    f.write(f"{telephone}\n")
                    f.write(f"{email}\n\n")


def main():
    url = f"{BASE_URL}/annuaire-notaire?page=0"
    soup = get_soup(url)
    notaries_item = soup.find_all("div", {"class": "node__content clearfix"})
    for notary_item in notaries_item:
        partial_notary_url = notary_item.find("a", href=True)
        notary_url = BASE_URL + partial_notary_url["href"]
        informations = get_notary_informations(notary_url)
        show_informations(informations)


main()

  File "C:\Users\quent\PycharmProjects\pythonProject\scraping\NOTAIRES_ETUDES BRETONNES.py", line 37, in show_informations

    for notary in notary:

TypeError: 'NoneType' object is not iterable

Que faire lorsqu'un objet int n'est pas itérable  ?

"Pour corriger cette erreur, vous pouvez utiliser une boucle while ou convertir l'objet entier en un autre type de données itérable , tel qu'une liste ou une chaîne. Vous pouvez également utiliser la fonction range() pour obtenir une plage de nombres et utiliser une boucle for pour parcourir cette plage."

J'ai compris le souci, mais je sèche pour le corriger !

Et pour la boucle for, pour toutes afficher les pages, je sais qu'il faut mettre une URL dynamique, mais je suis perdu pour le faire.

En fait cela s'affiche, malgré l'erreur, mais seulement un notaire, comment terminer ma bouche for, pour tous les notaires ?

C'est de l'humour noir, ou tu es sérieux ? J'y suis presque, je sais cela fait 10 jours que je dis ça. :)

Ta façon de faire est bonne, différente du coach, mais ne dis t'on pas que tout les chemins mène à Rome. 

Non, la boucle in range, il faut l'intégrer à la fonction main(), mais pour ça, il faut gérer l'indentation et intégrer la variable dans l'URL du site.

Désolé, tu as raison, je ne comprends pas. Je me suis dit, je mets la boucle in range à la suite de main(), comme je ne sais pas faire, je n'ai pas voulu aller plus loin et saloper le code à Diablo.

Gérer l'indentation, je vois ce que c'est, intégrer la variable dans l'URL, là, je

sèche. Est-ce cela :

for i in range(51):
        i = f"https://www.notaireetbreton.bzh/annuaire-notaire?page=%7Bpage_number%7D"
        page_number += 1
        urls.append(i)