Lokaler Einsatz von Open Source Big Model Tools

Local LLM Notepad ist eine quelloffene Offline-Anwendung, die es Benutzern ermöglicht, Local Large Language Models auf jedem Windows-Computer über ein USB-Gerät ohne Internetverbindung und ohne Installation auszuführen. Benutzer kopieren einfach eine einzelne ausführbare Datei (EXE) und eine Modelldatei (z.B. GGUF-Format) auf einen USB-Stick...

llm.pdf ist ein Open-Source-Projekt, mit dem Benutzer Large Language Models (LLMs) direkt in PDF-Dateien ausführen können. Entwickelt von EvanZhouDev und gehostet auf GitHub, zeigt dieses Projekt einen innovativen Ansatz: Kompilieren von llama.cpp über Emscripten als ...

Aana SDK ist ein von Mobius Labs entwickeltes Open-Source-Framework, benannt nach dem Malayalam-Wort ആന (Elefant). Es hilft Entwicklern, multimodale KI-Modelle schnell bereitzustellen und zu verwalten und unterstützt die Verarbeitung von Text, Bildern, Audio- und Videodaten sowie anderen Daten.Aana SDK basiert auf dem Ray Distributed Computing Framework ...

BrowserAI ist ein Open-Source-Tool, mit dem Benutzer native KI-Modelle direkt im Browser ausführen können. Es wurde von dem Cloud-Code-AI-Team entwickelt und unterstützt Sprachmodelle wie Llama, DeepSeek und Kokoro. Benutzer können über den Browser Text generieren, ohne einen Server oder eine komplexe Einrichtung...

LitServe ist eine Open-Source-KI-Modell-Service-Engine von Lightning AI, die auf FastAPI aufbaut und sich auf die schnelle Bereitstellung von Inferenzdiensten für Allzweck-KI-Modelle konzentriert. Es unterstützt eine breite Palette von Szenarien von großen Sprachmodellen (LLMs), visuellen Modellen, Audiomodellen bis hin zu klassischen maschinellen Lernmodellen und bietet...

Nexa AI ist eine Plattform, die sich auf multimodale KI-Lösungen konzentriert, die lokal ausgeführt werden. Sie bietet eine breite Palette von KI-Modellen, darunter Natural Language Processing (NLP), Computer Vision, Spracherkennung und -erzeugung (ASR und TTS), die alle auf lokalen Geräten ausgeführt werden können, ohne auf Cloud-Dienste angewiesen zu sein. Dies ...

vLLM ist eine durchsatzstarke und speichereffiziente Argumentations- und Service-Engine, die für Large Language Modelling (LLM) entwickelt wurde. Ursprünglich vom Sky Computing Lab an der UC Berkeley entwickelt, ist es zu einem Gemeinschaftsprojekt geworden, das von der Wissenschaft und der Industrie vorangetrieben wird. vLLM zielt darauf ab, schnelle, einfache...

Transformers.js ist eine JavaScript-Bibliothek, die von Hugging Face zur Verfügung gestellt wird, um hochmoderne maschinelle Lernmodelle direkt im Browser ohne Serverunterstützung auszuführen. Die Bibliothek ist kompatibel mit Hugging Face's Python-Version von Transformers...

Harbor ist ein revolutionäres containerisiertes LLM-Toolset, das sich auf die Vereinfachung der Bereitstellung und Verwaltung von lokalen KI-Entwicklungsumgebungen konzentriert. Es ermöglicht Entwicklern den Start und die Verwaltung aller KI-Servicekomponenten, einschließlich LLM-Backend, API-Schnittstellen und Front-End-Schnittstellen, mit einem einzigen Klick über eine übersichtliche Befehlszeilenschnittstelle (CLI) und eine begleitende Anwendung....

Xorbits Inference (kurz: Xinference) ist eine leistungsstarke und vielseitige Bibliothek, die sich auf die verteilte Bereitstellung von Sprachmodellen, Spracherkennungsmodellen und multimodalen Modellen konzentriert. Mit Xorbits Inference können Benutzer ihre eigenen Modelle oder integrierte fortgeschrittene Modelle einfach einsetzen und bereitstellen,...

AI Dev Gallery ist eine KI-Entwicklungstool-App von Microsoft (derzeit in der öffentlichen Vorschau), die für Windows-Entwickler konzipiert ist. Sie bietet eine umfassende Plattform, die Entwicklern hilft, KI-Funktionen einfach in ihre Windows-Anwendungen zu integrieren. Das bemerkenswerteste Merkmal des Tools ist, dass es eine...

LightLLM ist ein Python-basiertes Large Language Model (LLM) Inferenz- und Service-Framework, das für sein schlankes Design, seine einfache Erweiterbarkeit und seine effiziente Leistung bekannt ist. Das Framework nutzt eine Vielzahl von bekannten Open-Source-Implementierungen, darunter FasterTransformer, TGI, vLLM und FlashAtten...

Transformers.js ist eine JavaScript-Bibliothek, die von Hugging Face entwickelt wurde, um Benutzern die Möglichkeit zu geben, modernste maschinelle Lernmodelle direkt im Browser ohne Serverunterstützung auszuführen. Die Bibliothek ist kompatibel mit Hugging Face's Python Transformer...

GLM-Edge ist eine Reihe von großen Sprachmodellen und multimodalen Verständigungsmodellen, die für Endgeräte der Tsinghua-Universität entwickelt wurden (Smart Spectrum Light Language). Diese Modelle umfassen GLM-Edge-1.5B-Chat, GLM-Edge-4B-Chat, GLM-Edge-V-2B und GLM-Edge-V-5...

Exo ist ein Open-Source-Projekt, das darauf abzielt, einen eigenen KI-Cluster mit Alltagsgeräten (z. B. iPhone, iPad, Android, Mac, Linux usw.) zu betreiben. Durch dynamische Modellpartitionierung und automatische Geräteerkennung ist Exo in der Lage, mehrere Geräte in einer einzigen leistungsstarken GPU zu vereinen und mehrere Modelle wie LLaMA, Mistral...

LocalAI ist eine quelloffene lokale KI-Alternative, die darauf abzielt, API-Schnittstellen bereitzustellen, die mit OpenAI, Claude und anderen kompatibel sind. Es unterstützt die Ausführung auf Consumer-Grade-Hardware, benötigt keine GPU und ist in der Lage, eine breite Palette von Aufgaben wie Text, Audio, Video, Bilderzeugung und Sprachklonen durchzuführen.

llamafile ist ein Tool des Mozilla Builders-Projekts, das den Einsatz und Betrieb des Large Language Model (LLM) vereinfachen soll. Durch die Kombination von llama.cpp mit Cosmopolitan Libc, llamafile nimmt die Komplexität des LLM Einsatzes durch...

Petals ist ein Open-Source-Projekt, das vom BigScience Workshop entwickelt wurde, um große Sprachmodelle (Large Language Models, LLMs) über einen verteilten Rechenansatz auszuführen. Benutzer können LLMs zu Hause mit Consumer-GPUs oder Google Colab ausführen und feinabstimmen, z. B. Llama 3 .....

Die Aphrodite Engine ist die offizielle Backend-Engine für PygmalionAI. Sie wurde entwickelt, um einen Inferenz-Endpunkt für PygmalionAI-Websites bereitzustellen und den schnellen Einsatz von Hugging-Face-kompatiblen Modellen zu unterstützen. Die Engine nutzt die Paged Attention-Technologie von vLLM, um eine effiziente K/...