🦥Unsloth-Dokumentation

Unsloth ermöglicht es dir, KI-Modelle über eine Open-Source-Oberfläche auf deiner eigenen lokalen Hardware auszuführen und zu trainieren.

Unsere Dokumentation führt dich durch das lokale Ausführen und Trainieren deines eigenen LLMs.

Loslegen Unser GitHub

GLM-5.2

Führe das stärkste offene Modell lokal aus.

DiffusionGemma

Führe Googles neue Diffusions-Textmodelle aus und trainiere sie.

MTP-Leitfaden

Führe Qwen3.6 und Gemma 4 etwa 2× schneller aus!

Vorstellung von Unsloth Studio

Neue offene No-Code-Oberfläche zum Trainieren und Ausführen von LLMs.

Kimi 2.7 Code

Führe das neue 1T-State-of-the-Art-Codemodell aus.

Unsloth-API-Endpunkt

Führe Inferenz mit Unsloth über unsere neue API aus.

🦥 Warum Unsloth?

• Wir arbeiten direkt mit den Teams hinter gpt-oss, Qwen3, Llama 4, Mistral, Gemma 1-3 und Phi-4, wo wir kritische Fehler behoben haben die die Modellgenauigkeit erheblich verbessert haben. Andrej Karpathy hat zum Beispiel unsere Arbeit gelobt.

• Unsloth vereinfacht lokales Training, Inferenz, Daten und Deployment

• Unsloth unterstützt Inferenz und Training für über 500 Modelle: Vision, TTS, Embedding, RL

⭐ Funktionen

Unsloth ermöglicht es dir, Modelle für Text auszuführen und zu trainieren, Audio, Embedding, Vision und mehr. Unsloth bietet viele wichtige Funktionen sowohl für Inferenz als auch für Training:

Inferenz

• Suche + lade herunter + führe jedes Modell aus, wie GGUFs, LoRA-Adapter, Safetensors.

• Selbstheilender Tool-Aufruf / Websuche und Nutzung Unsloth als API.

• Automatische Inferenzparameter Abstimmung und Bearbeitung von Chat-Vorlagen.

• Exportiere oder speichere dein Modell als GGUF, 16-Bit-Safetensor usw.

• Vergleiche Ausgaben mit zwei verschiedenen Modellen nebeneinander.

Training

• Trainiere und RL über 500 Modelle etwa 2× schneller mit etwa 70 % weniger VRAM (kein Genauigkeitsverlust)

• Unterstützt vollständiges Fine-Tuning, Pre-Training sowie 4-Bit-, 16-Bit- und FP8-Training.

• Datensätze automatisch erstellen aus PDF-, CSV- und DOCX-Dateien. Bearbeite Daten in einem visuellen Node-Workflow.

• Beobachtbarkeit: Training live überwachen, Loss und GPU-Auslastung nachverfolgen, Diagramme anpassen

• Am effizientesten Bestärkendes Lernen Bibliothek, die für GRPO 80 % weniger VRAM verwendet, FP8 usw.

• Multi-GPU funktioniert, aber eine viel bessere Version kommt bald!

Schnellstart

Unsloth unterstützt MacOS, Linux, Windows, NVIDIA, Intel- und CPU-Setups. Siehe: Unsloth-Anforderungen. Verwende dieselben Befehle zum Aktualisieren:

MacOS, Linux, WSL:

Windows PowerShell:

Docker

Nutze unser offizielles Docker-Image: unsloth/unsloth das derzeit für Windows, WSL und Linux funktioniert. MacOS-Unterstützung kommt bald.

Was sind Fine-Tuning und RL? Warum?

Fine-Tuning ein LLM passt sein Verhalten an, erweitert das Domänenwissen und optimiert die Leistung für bestimmte Aufgaben. Durch das Fine-Tuning eines vortrainierten Modells (z. B. Llama-3.1-8B) auf einem Datensatz kannst du:

• Wissen aktualisieren: Neue domänenspezifische Informationen einführen.

• Verhalten anpassen: Ton, Persönlichkeit oder Antwortstil des Modells anpassen.

• Für Aufgaben optimieren: Genauigkeit und Relevanz für bestimmte Anwendungsfälle verbessern.

Bestärkendes Lernen (RL) ist der Bereich, in dem ein "Agent" lernt, Entscheidungen zu treffen, indem er mit einer Umgebung interagiert und Feedback in Form von Belohnungen oder Strafen.

• Aktion: Was das Modell erzeugt (z. B. ein Satz).

• Belohnung: Ein Signal, das anzeigt, wie gut oder schlecht die Aktion des Modells war (z. B. hat die Antwort den Anweisungen entsprochen? War sie hilfreich?).

• Umgebung: Das Szenario oder die Aufgabe, an der das Modell arbeitet (z. B. die Frage eines Nutzers beantworten).

Beispielhafte Anwendungsfälle für Fine-Tuning oder RL:

• Ermöglicht es LLMs vorherzusagen, ob eine Überschrift ein Unternehmen positiv oder negativ beeinflusst.

• Kann historische Kundeninteraktionen für genauere und individuellere Antworten nutzen.

• Fine-Tune eines LLMs auf juristischen Texten für Vertragsanalyse, Rechtsprechungsrecherche und Compliance.

Du kannst dir ein feinabgestimmtes Modell als einen spezialisierten Agenten vorstellen, der dafür entwickelt wurde, bestimmte Aufgaben effektiver und effizienter zu erledigen. Fine-Tuning kann alle Fähigkeiten von RAG nachbilden, aber nicht umgekehrt.