Installation d'un LLM en Local

Bonjour,

Si tu ne précises pas de quel LLM tu parles, ni dans quel contexte (quelle machine, quel système d'exploitation, dans quel but, quel est message d'erreur) difficile de te guider.

Bonne chance

Merci pour le retour c'est déjà çà,

Alors à ma connaissance peut importe le LLM.

Pour ma part j'utilise les safetensors  LFS, je fuis les GGUF.

La machine : Windows 10, i9-13980HX, SSD 7000Mb/s et RTX 4090 16Go Vram.

Le système des LLM Debian 12 sous WSL2.

Le but, simple donner un accès total au llm à un dossier afin qu'il puisse écrire, lire et modifier divers fichier MarkDown ou .json. Dans un premier temps je ne pense pas utiliser une base vectoriel.

Entre temps je me suis penché sur la question, je testais open-webui (véritable usine à gaz ultra lente) et text-generation-webui (qui lui fonctionne plutôt bien, mais fait de briques et de broques dès qu'on veut pousser un peu plus loin l'utilisation).

Solution retenue pour ma part, passer directement en mode console pour mettre en place mes besoins, et par la suite coder une WebUI.

C'est peut être une mauvaise approche de ma part, ça ne fait qu'une semaine et demi que je me penche sur le sujet.

Je suis ouvert à toutes idées, là mon prochain projet en plus du dossier ouvrir une connexion internet.

Bonjour,

Si je comprends bien, la question a plus à voir avec comment bien utiliser WSL que déployer un LLM à proprement parler.

• Pour le partage de dossier entre windows et WSL, voir ici.
• Pour le réseau tu peux essayer ceci.

Je ne sais pas quel est ton besoin, mais il existe également des solutions en ligne, par exemple Google Colab. Cette vidéo pourrait t'intéresser.

Bonne chance

Bonjour,

Encore merci pour ta réponse, ça comble quand même un peu le vide.

Non en fait, on est juste un cran ou deux au dessus.

Je me disais que peut être des gens intéressait au sujet avec se qui se passe entre free.fr et MistralAi.

Mais je pense que ce n'est pas trop l'endroit pour ce genre de question.

Il est encore trop tôt.

Je pense que la réponse ce trouve plus en lignes de code.

import os
import json
import torch
import random
import gc
import requests
import time
from datetime import datetime
from typing import List, Dict, Any, Tuple, Optional
from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer, BitsAndBytesConfig
from peft import get_peft_model, LoraConfig, TaskType, PeftModel, PeftConfig
from datasets import Dataset
from huggingface_hub import snapshot_download

BLABLABLA .........

training_args = TrainingArguments(
                output_dir=f"{self.memory_path}/models/evolution_{self.evolution_counter}",

BLABLABLA .........


        with torch.no_grad():
            output = self.model.generate(
                inputs["input_ids"],
                max_new_tokens=512,
                temperature=0.9, 
                top_p=0.95,
                do_sample=True,
                pad_token_id=self.tokenizer.eos_token_id
            )
        
        response = self.tokenizer.decode(output[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
        
        
        questions = [q.strip() for q in response.split('\n') if q.strip() and '?' in q]
        
        
        return questions[:num_questions]
    
    def get_memory_stats(self) -> Dict[str, Any]:
        """Retourne les statistiques d'utilisation mémoire"""
        if torch.cuda.is_available():
            stats = {
                "vram_used_gb": torch.cuda.memory_allocated() / 1024**3,
                "vram_reserved_gb": torch.cuda.memory_reserved() / 1024**3,
                "vram_total_gb": torch.cuda.get_device_properties(0).total_memory / 1024**3,
            }
        else:
            stats = {"vram_used_gb": 0, "vram_reserved_gb": 0, "vram_total_gb": 0}

            BLABLABLA .........

Et parmi mes 584 ligne de codes, je cherche à expliquer au LLM qu'il doit écrire dans un dossier archiver et trier sans passer par une base vectoriel.

La WSL c'est juste le support et je maîtrise. 

Ce qui compte c'est le mot LLM, je n'aime pas le mot IA c'est encore trop tôt pour l'utiliser, sauf peut être pour Claude qui lui est une véritable énigme. 

Bref, là on parle d'ouvrir des accès, et de dire, et de faire comprendre à un LLM, tiens tu as le fichier tu va faire des sous fichiers et y classer nos échanges.

Ceux qui connaissent les LLM remarqueront peut être même un truc sur mes lignes, je travaille dessus directement via torch.

Le but n'est pas non plus de passer par un service extérieur ou d'utiliser Jupyter.

Je cherche à faire du 100% Local.