Dies ist ein lokaler Offline-Chatbot, der auf dem Modell Mistral-7B-OpenOrca (GGUF) basiert.
Der Chatbot ist spezialisiert auf Python, HTML, CSS und JavaScript und kann vollständig offline betrieben werden.
- Funktioniert vollständig offline, keine Internetverbindung erforderlich.
- Antworten in der Sprache des Benutzers.
- Liefert detaillierte und verständliche Erklärungen.
- Fügt Code-Beispiele hinzu, wenn es relevant ist.
- Schlägt Best Practices und optimale Lösungen vor.
- Geduldig und ermutigend für Benutzer aller Niveaus.
- Konversationsverlauf wird gespeichert und kann bei Bedarf gelöscht werden.
Dieses Projekt benötigt Python 3.10 oder höher und folgende Bibliotheken:
pip install flask gpt4all- Projekt klonen oder herunterladen.
- Modellverzeichnis erstellen:
mkdir models
- Modellname im Skript
chatbot.pyüberprüfen:MODEL_NAME = "mistral-7b-openorca.gguf2.Q4_0.gguf"
- Flask-Server starten:
python chatbot.py
- Öffnen Sie den Browser unter:
http://localhost:5000 - Geben Sie Ihre Fragen ein – der Chatbot antwortet automatisch in der gleichen Sprache wie der Benutzer.
- Verlauf löschen über die Schaltfläche Verlauf löschen.
Der Chatbot kann Inhalte aus einer Knowledge Base nutzen (RAG – Retrieval-Augmented Generation):
- Unterstützte Formate:
.txt,.pdf,.docx - Ablage der Dateien im Ordner
knowledge/ - Beim Start werden die Dateien in Chunks aufgeteilt, Embeddings erstellt und ein FAISS-Index aufgebaut
- Bei jeder Benutzeranfrage werden die relevantesten Chunks dem Prompt hinzugefügt, um kontextuell passende Antworten zu liefern.
- Der Chatbot lernt nicht automatisch während des Chats.
Updates erfolgen nur, wenn neue Knowledge Base-Dateien hinzugefügt oder der Modell-Fine-Tuning-Prozess durchgeführt wird. - Maximale Token pro Antwort: 512 (kann im Code angepasst werden)
- Nur lokale Nutzung empfohlen – für produktive Deployments sollte ein Produktionsserver verwendet werden.
- Erstellt von Giovanni Angileri kontakt
- Offline, lokal und einfach anpassbar für eigenen Lern- und Entwicklungsbedarf