programmation avec pandas read_html Fermé

Question

Bonjour,

J'essaie de charger les infos de ce document html avec pandas.

#lecture et accès à l'url

"https://www.sec.gov/Archives/edgar/data/1652044/000165204422000090/goog-20220930.htm"
[{"metadata":{"scrolled":true,"trusted":true},"id":"0a690924","cell_type":"code","source":"

Selectedcompany='Alphabet Inc.'
Selectedreport='10-Q'

csv=pd.read_csv('C:/Users/Laurent/Desktop/SEC_Files/2022-QTR4.tsv',sep='\t',lineterminator='\r',names=None)
csv.columns.values[0]='Item'
companyreport=csv[(csv['Item'].str.contains(Selectedcompany))&(csv['Item'].str.contains(Selectedreport))]
Filing=companyreport['Item'].str.split('|')
Filing=Filing.to_list()

for item in Filing[0]:
    if 'html' in item:
        report=item
url='https://www.sec.gov/Archives/'+report

my_header = { "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.75 Safari/537.36", "X-Requested-With": "XMLHttpRequest" }

html_page_text = requests.get(url, headers=my_header)

dfTables = pd.read_html(html_page_text.text);
document_index=dfTables[0].dropna()
document_name=document_index[document_index['Description'].str.contains(Selectedreport)]
document_name=document_name['Document'].str.split(' ')
document_name=document_name[0][0]
report=report.replace('-','').replace('index.html','')
url='https://www.sec.gov/Archives/'+report+'/'+document_name
url

","execution_count":84,"outputs":[{"output_type":"execute_result","execution_count":84,"data":{"text/plain":"'https://www.sec.gov/Archives/edgar/data/1652044/000165204422000090/goog-20220930.htm'"},"metadata":{}}]}]

html_page_bilan = requests.get(url, headers=my_header)
df = pd.read_html(html_page_bilan.text)

for item in df:  #pour chaque dataframe
    BS= (item[0].str.contains('assets')|item[0].str.contains('Retained')) #lorsque dans la première colonne onn trouve un des termes 'assets' ou 'retained'
    if BS.any(): # C'est vrai
    Balance_Sheet=item #alors le dataframe est item
     Balance_Sheet

mamiemando · Answer

Bonjour Il y a beaucoup de choses qui ne vont pas dans ton script. l3-l4: Tu n'affectes ni l'URL ni le header dans des variables correspondantes, or tu les utilises pour faire . l5: les variables url et headers ne sont pas déclarées. l6: il manque import requests l7: il manque import pandas as pd. De plus, pandas.read_html s'attend une table HTML, pas une page entière. Il faudrait donc extraire de html_page_bilan chacune des tables qui t'intéressent. Pour cela tu peux utiliser BeautifulSoup. l10-l14: le code n'est pas indenté, or en python cela est indispensable de le faire correctement pour que l'interpréteur python comprenne la structure de ton programme. l14: cette ligne seule ne sert à rien, peut être voulais-tu écrire print(Balance_Sheet) ? Je vais délibérément ignorer la partie requests / headers (car sans passer les bons headers tu ne récupères pas le contenu intégral de la page, donc la partie qui contient les tables) et me focaliser dans ce qui suit sur read_html puisque c'est sur ça que porte la discussion. from bs4 import BeautifulSoup import pandas as pd from pprint import pprint html_data = """

1	11
111	1111

2	22
222	2222

""" soup = BeautifulSoup(html_data) dfs = list() for table in soup.find_all("table"): df = pd.read_html(str(table)) dfs.append(df) pprint(dfs) Résultat : [[ 0 1 0 1 11 1 111 1111], [ 0 1 0 2 22 1 222 2222]] Bonne chance

Programmation avec pandas read_html

1 réponse

Discussions similaires