Créer site internet gros volume

[Résolu/Fermé]
Signaler
Messages postés
252
Date d'inscription
samedi 21 avril 2012
Statut
Membre
Dernière intervention
3 août 2017
-
 LIILI@N -
Bonjour à tous ! Alors voilà ma question; j'aimerais (réellement ^^) savoir comment font les personnes, comment elles s'y prennent techniquement pour créer un site mais qui doit gérer de grosses données (j'entends par là Facebook, YouTube, Un Cloud ...). Je ne parle pas du site en lui même mais comment ces personnes ont commencé pour stocker de telles données ? Car faire un site WEB, avec des tutos, cours etc... c'est relativement simple, mais créer un site relié à une grosse base de données ... Un gars comme Mark zuckerberg a fait comment par exemple pour stocker toutes les données de ses utilisateurs ? Il héberger lui-même avec ses disques durs ou il a dut acheter des serveurs dès le début ? Merci de m'éclairer !!!

1 réponse

Messages postés
3023
Date d'inscription
vendredi 18 juin 2004
Statut
Contributeur
Dernière intervention
27 juillet 2021
418
Bonjour,

Il y a plusieurs thèmes, et il n'y a pas de solution miracle qui marche pour tout le monde de la même manière.

- le type d'infrastructure : on est sur un modèle type 3 tiers. Web-Appli-Base de données.
D'autre part il n'y a pas qu'un serveur ou 2 serveurs, ce sont des fermes de milliers de serveurs, dont certains sont en cluster.

- la montée en charge : on rajoute des serveurs et de la capacité au fur et à mesure que les users/données augmentent. Cela se surveille.

- le stockage : ce sont pour les bases de données principalement des baies de stockage (ces baies contiennent plein de disques durs), on stocke peu sur des disques durs dans des serveurs, mais plutôt des baies de stockage (type SAN). ou du NAS dans certains cas.

-

Ce qu'il faut comprendre, c'est que le site a grandit, ses services aussi, et le nombre d'utilisateurs aussi.

Au départ, ce n'était qu'un site avec très peu d'informations et de fonctionnalités pour les élèves de son université, cela représentait quelques centaines de personnes ou milliers - pas plus.
Sur un petit serveur ça tournait ...

-

Aujourd'hui, ils ont des datacenters avec des milliers de serveurs. Après qu'ils louent ou achètent, c'est leur problème ...
Ils ont aussi des gros tuyaux pour les flux Internet, avec une grosse infrastructure réseau.

-

Après il y a la technologie et les langages utilisés. Sur des gros volumes il faut optimiser le code, les temps de traitement.
Du code se comporte pas de la même manière avec 100 utilisateurs ou qu'avec 1 000 000.

Un exemple, la gestion du panier d'Amazon, est séparée dans un type de base particulier, type Cassandra/DynmoDB qui permet d'accélérer le traitement/requête.; car sur un moteur SQL relationnel, les perfs étaient pourries ...
Il y a des techno qui se pretent à certains usages et d'autres non.

-

C'est évident que ça se fait pas en 1 an ; mais il faut garder l'esprit la vision sur le long terme pour savoir comment faire évoluer le service/produit.


Using a registry "compactor" on top of a registry "cleaner" would be equivalent to rinsing your throat with a swig of Jack Daniels after swallowing a pint of snake oil....
2
Merci

Quelques mots de remerciements seront grandement appréciés. Ajouter un commentaire

CCM 41713 internautes nous ont dit merci ce mois-ci

Merci pour votre réponse très pertinente et le temps que vous avez consacré à ma question ! ! Je n'ai plus qu'a créer un serveur perso^^.
Messages postés
3023
Date d'inscription
vendredi 18 juin 2004
Statut
Contributeur
Dernière intervention
27 juillet 2021
418
J'ai trouvé d'autres informations, c'est en anglais ...

https://www.datacenterknowledge.com/data-center-faqs/facebook-data-center-faq

-

http://xyetz.com/facebook-10-ans-10-chiffres/

-

Mark Z. a effectivement commencé avec un seul serveur ;)
Merci encore !