Créer site internet gros volume Résolu/Fermé

Question

Bonjour à tous ! Alors voilà ma question; j'aimerais (réellement ^^) savoir comment font les personnes, comment elles s'y prennent techniquement pour créer un site mais qui doit gérer de grosses données (j'entends par là Facebook, YouTube, Un Cloud ...). Je ne parle pas du site en lui même mais comment ces personnes ont commencé pour stocker de telles données ? Car faire un site WEB, avec des tutos, cours etc... c'est relativement simple, mais créer un site relié à une grosse base de données ... Un gars comme Mark zuckerberg a fait comment par exemple pour stocker toutes les données de ses utilisateurs ? Il héberger lui-même avec ses disques durs ou il a dut acheter des serveurs dès le début ? Merci de m'éclairer !!!

kelux · Accepted Answer

Bonjour,

Il y a plusieurs thèmes, et il n'y a pas de solution miracle qui marche pour tout le monde de la même manière.

- le type d'infrastructure : on est sur un modèle type 3 tiers. Web-Appli-Base de données.
D'autre part il n'y a pas qu'un serveur ou 2 serveurs, ce sont des fermes de milliers de serveurs, dont certains sont en cluster.

- la montée en charge : on rajoute des serveurs et de la capacité au fur et à mesure que les users/données augmentent. Cela se surveille.

- le stockage :  ce sont pour les bases de données principalement des baies de stockage (ces baies contiennent plein de disques durs), on stocke peu sur des disques durs dans des serveurs, mais plutôt des baies de stockage (type SAN). ou du NAS dans certains cas.

-

Ce qu'il faut comprendre, c'est que le site a grandit, ses services aussi, et le nombre d'utilisateurs aussi.

Au départ, ce n'était qu'un site avec très peu d'informations et de fonctionnalités pour les élèves de son université, cela représentait quelques centaines de personnes ou milliers - pas plus.
Sur un petit serveur ça tournait ...

-

Aujourd'hui, ils ont des datacenters avec des milliers de serveurs. Après qu'ils louent ou achètent, c'est leur problème ...
Ils ont aussi des gros tuyaux pour les flux Internet, avec une grosse infrastructure réseau.

-

Après il y a la technologie et les langages utilisés. Sur des gros volumes il faut optimiser le code, les temps de traitement.
Du code se comporte pas de la même manière avec 100 utilisateurs ou qu'avec 1 000 000.

Un exemple, la gestion du panier d'Amazon, est séparée dans un type de base particulier, type Cassandra/DynmoDB qui permet d'accélérer le traitement/requête.; car sur un moteur SQL relationnel, les perfs étaient pourries ...
Il y a des techno qui se pretent à certains usages et d'autres non.

-

C'est évident que ça se fait pas en 1 an ; mais il faut garder l'esprit la vision sur le long terme pour savoir comment faire évoluer le service/produit.

 
Using a registry "compactor" on top of a registry "cleaner" would be equivalent to rinsing your throat with a swig of Jack Daniels after swallowing a pint of snake oil....

Créer site internet gros volume

1 réponse

Discussions similaires