¿Cómo abrir un gran archivo CSV sin perder datos?
Pyvoudelet
Mensajes publicados
169
Fecha de registro
Estado
Miembro
Última intervención
-
jee pee Mensajes publicados 31886 Fecha de registro Estado Moderador Última intervención -
jee pee Mensajes publicados 31886 Fecha de registro Estado Moderador Última intervención -
Hola a todos,
Me gustaría aprovechar una base de datos abierta en csv que comprende cerca de 8 millones de líneas (vehículos en circulación en Qc).
Me gustaría recibir sus recomendaciones sobre qué software utilizar (preferiblemente a bajo costo) para poder realizar el análisis sin pérdida de datos. De hecho, cuando intento abrirlo en Excel (última versión de Office 360 en Mac), tengo la impresión de que está truncado debido a la gran cantidad de líneas.
Gracias
--
Bienaventurados aquellos que saben reírse de sí mismos: ¡no han terminado de divertirse!
--
Bienaventurados aquellos que saben reírse de sí mismos: ¡no han terminado de divertirse!
Me gustaría aprovechar una base de datos abierta en csv que comprende cerca de 8 millones de líneas (vehículos en circulación en Qc).
Me gustaría recibir sus recomendaciones sobre qué software utilizar (preferiblemente a bajo costo) para poder realizar el análisis sin pérdida de datos. De hecho, cuando intento abrirlo en Excel (última versión de Office 360 en Mac), tengo la impresión de que está truncado debido a la gran cantidad de líneas.
Gracias
--
Bienaventurados aquellos que saben reírse de sí mismos: ¡no han terminado de divertirse!
--
Bienaventurados aquellos que saben reírse de sí mismos: ¡no han terminado de divertirse!
Enlaces relacionados:
- ¿El escáner puede funcionar sin cartuchos?
- Mostrar/ocultar un campo en un Estado - ACCESO
- ¿Cómo leer un archivo .db? ¿Es una base de datos SQLite?
- Cómo instalar Viber en PC sin tenerlo en el smartphone?
- Abrir un archivo .DB para recuperar los datos guardados.
- Trabajar con archivos CSV con SQL Developer
7 respuestas
-
yg_be Mensajes publicados 23437 Fecha de registro Estado Colaborador Última intervención Ambassadeur 1 588
Hola,
puedes guardar estos datos en Excel, si no los colocas todos en la misma pestaña.
no indicas lo que deseas hacer como análisis: ¿es realmente necesario guardar todo en Excel? -
De hecho, es una base de datos abierta en CSV con la lista de 8 millones de vehículos registrados en Quebec. Quiero poder hacer análisis para interpretar, por ejemplo, el número de vehículos por categoría y por región, etc., que son todos campos (columnas).
https://www.donneesquebec.ca/recherche/fr/dataset/vehicules-en-circulation/resource/4bb416f3-8aea-4f8e-8e07-562f73629003?view_id=306c43c3-dd5a-42d2-b47b-70edcd6cc7a9
Así que no me conviene demasiado importar la base de datos en 8 pestañas, porque siento que será complicado después para hacer el análisis.
Descubrí en la ayuda la función Obtener y transformar en Excel. Parece permitir que el archivo se conecte a una base de datos sin importarlo. Sin embargo, cuando intento, solo se importa, y ahí está el mismo problema de tamaño...
--
Bienaventurados los que saben reírse de sí mismos: ¡no han terminado de divertirse! -
Hola,
Excel tiene un máximo de 1 millón y algunas filas.
8 millones de filas y 850 MB están fuera de su capacidad.
La solución es cargar los datos en una (verdadera) base de datos, por ejemplo, mysql (yo usaría Oracle) y consultarla en lenguaje sql (o instalar una herramienta de consulta más amigable, como PowerBi)
Pero esto requiere un mínimo de conocimientos técnicos en informática.
-
Entonces Access es probablemente un buen candidato.
- Sí, probablemente. No soy usuario de Access, pero he descargado el CSV y se abre en Access, que parece hacer un enlace con el CSV sin importarlo. Pero incluso en mi computadora, que es bastante potente, Access rápidamente se queda en estado de "no responde" cuando intentamos simplemente desplazarnos por las líneas; hay 6,608,227. Un editor de texto como Notepad++ parece ser más eficiente con este archivo de texto que Access ;-)
-
-
-
-
Hola a todos. Gracias por sus sugerencias, pero como se discutió, estoy en un Mac, lamentablemente. ¿Tienen alguna sugerencia adecuada?
Gracias-
-
-
Hola,
Creo que el trabajo que solicitas no es adecuado para una hoja de cálculo (excel, calc o similar).
Para eso necesitas una herramienta que se ajuste más a tu solicitud.
En tu caso, una base de datos sería adecuada (postgresql, mysql, sqlite3, ...)
Tu problema es que debes aprender la sintaxis para ejecutar este trabajo.
Lo cual requerirá tiempo al principio, pero que se rentabilizará posteriormente.
¿Con qué herramienta cuentas en Mac para realizar la tarea?
Y, ¿estás dispuesto a perder tiempo para ganar (lo que también implica facilitarte las cosas)?
Trauq
-
-
Reanudo esta discusión tras una solicitud de tipo similar: https://forums.commentcamarche.net/forum/affich-36718337-ouvrir-un-csv-trop-volumineux-faire-des-requetes donde descubrí la importación en Excel con Power Query.
Quise probar esto con el archivo surgido de esta discusión.
Esto es lo que apliqué en Excel 2016: Datos/Nueva consulta/A partir de un archivo/archivo CSV, dar ubicación del archivo csv
Una vez presentado el archivo hacer clic en Modificar
En la barra de menú "Agrupar por"/ Marca + Tipo + Región /Número/Contar
Esperar, ... Luego cerrar y cargar, entonces tenemos el resultado en excel, un archivo de 8500 líneas:
Tengo un PC bastante potente y estuvo saturado durante 2/3 minutos. Pero obtuvimos el resultado de una consulta sobre un archivo de varios millones de líneas.
--
un extranjero, es un amigo que aún no hemos conocido.
