Soucis scrapping

Raydoudou -  
mamiemando Messages postés 33772 Date d'inscription   Statut Modérateur Dernière intervention   -

Bonjour à tous,

Excusez-moi de vous déranger, j'ai un soucis.

En effet j'essaye de scrapper la page de yahoo finance, et lorsque je récupère les valeurs qui m'intéressent, elles sont bien au format string. Mais lorsque je les ajoute à une liste, elles passent sous une forme inconnue (voir screen). Seriez-vous capable de m'aider ou au moins de me dire qu'est-ce que ce type d'écriture dans ma liste. 

Merci d'avance.

import requests
from bs4 import BeautifulSoup
def get_page(Entreprise):
    l=[]
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36'}
    """Download a webpage and return a beautiful soup doc"""
    response = requests.get('https://fr.finance.yahoo.com/quote/{0}/balance-sheet?p=%7B0%7D'.format(Entreprise), headers= headers)
    if not response.ok:
        print('Status code:', response.status_code)
        raise Exception('Failed to load page {}'.format('https://fr.finance.yahoo.com/quote/{0}/balance-sheet?p=%7B0%7D'.format(Entreprise)))
    page_content = response.text
    doc = BeautifulSoup(page_content, 'html.parser')
    print(doc.find('title'))
    div_gris = doc.find_all('div', {'class': "Ta(c) Py(6px) Bxz(bb) BdB Bdc($seperatorColor) Miw(120px) Miw(100px)--pnclg Bgc($lv1BgColor) fi-row:h_Bgc($hoverBgColor) D(tbc)"})
    for item in div_gris:    
        res=item.find('span')
        if res is not None:
            res1=res.text
        else:
            res1=None
        l.append(res1)
        print (res1, type(res1))
        """notstring = item.find('span')
        print (notstring)
        string= str(notstring)
        res = re.sub("\</span>|\<span>","",string)
        l.append(res)"""
    print (l)


            


Windows / Chrome 103.0.0.0

2 réponses

Réponse 1 / 2
jordane45 Messages postés 38486 Date d'inscription   Statut Modérateur Dernière intervention   4 752
 

Bonjour,

Essaye

 if res is not None:
      res1=res.text
 else:
      res1="None"
 l.append(str(res1))
0
Réponse 2 / 2
mamiemando Messages postés 33772 Date d'inscription   Statut Modérateur Dernière intervention   7 882
 

Bonjour,

Merci de soigner l'orthographe et surtout, merci d'éviter les captures d'écran, qui ne sont pratiques pour personne (un bon vieux copier coller sera plus lisible et plus écologique).

La chaîne de caractère que tu récupères semble impliquer des caractères unicode. Comment appelles-tu get_page ? Car quand je teste, div_gris ne contient rien. J'ai l'impression que ce que tu veux écrire c'est plutôt ça :

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import requests
from bs4 import BeautifulSoup
from pprint import pprint

def get_page(entreprise):
    """Download a webpage and return a beautiful soup doc"""
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36"
    }
    response = requests.get("https://fr.finance.yahoo.com/quote/{0}/balance-sheet?p=%7B0%7D".format(entreprise), headers= headers)
    if not response.ok:
        print("Status code:", response.status_code)
        raise Exception("Failed to load page {}".format("https://fr.finance.yahoo.com/quote/{0}/balance-sheet?p=%7B0%7D".format(entreprise)))
    page_content = response.text
    doc = BeautifulSoup(page_content, "html.parser")
    trs = doc.find("table", {"class" : "lookup-table"}).find_all("tr")
    ths = [
        th.text 
        for tr in trs
        for th in tr.find_all("th")
    ]
    rows = [
        {
            th : td.text
            for (th, td) in zip(ths, tr.find_all("td"))
        }
        for tr in trs
    ]
    return rows

pprint(get_page("orange"))

Bonne chance
0