Acesso no exterior: www.kdjingpai.com

Ctrl + D Marcar este site como favorito

Implantação local de ferramentas de modelo grande de código aberto

 Enviar site

Local LLM Notepad: uma ferramenta portátil para a execução off-line de modelos locais de linguagens grandes
O Local LLM Notepad é um aplicativo off-line de código aberto que permite aos usuários executar Modelos Locais de Grandes Linguagens em qualquer computador Windows por meio de um dispositivo USB, sem conexão com a Internet e sem instalação. Os usuários simplesmente copiam um único arquivo executável (EXE) e um arquivo de modelo (por exemplo, formato GGUF) para um pendrive USB...
07-03 410Recomendado
llm.pdf: projeto experimental para executar um modelo de linguagem em grande escala em um arquivo PDF
O llm.pdf é um projeto de código aberto que permite aos usuários executar modelos de linguagem grandes (LLMs) diretamente em arquivos PDF. Desenvolvido por EvanZhouDev e hospedado no GitHub, esse projeto demonstra uma abordagem inovadora: compilar llama.cpp via Emscripten como ...
05-05 6590Recomendado
Aana SDK: uma ferramenta de código aberto para facilitar a implantação de modelos de IA multimodais
O Aana SDK é uma estrutura de código aberto desenvolvida pela Mobius Labs, cujo nome vem da palavra malaiala ആന (elefante). Ele ajuda os desenvolvedores a implantar e gerenciar rapidamente modelos de IA multimodais, oferecendo suporte ao processamento de texto, imagens, áudio e vídeo e outros dados.
03-25 8900Recomendado
BrowserAI: Executando modelos de IA localmente no navegador com WebGPUs
O BrowserAI é uma ferramenta de código aberto que permite aos usuários executar modelos de IA nativos diretamente no navegador. Ela foi desenvolvida pela equipe Cloud-Code-AI e oferece suporte a modelos de linguagem como Llama, DeepSeek e Kokoro. Os usuários podem fazer a geração de texto por meio do navegador sem um servidor ou uma configuração complexa...
03-16 9540Recomendado
LitServe: implantação rápida de serviços de inferência de modelos de IA de uso geral de nível empresarial
O LitServe é um mecanismo de serviço de modelo de IA de código aberto da Lightning AI, desenvolvido com base na FastAPI e focado na implantação rápida de serviços de inferência para modelos de IA de uso geral. Ele oferece suporte a uma ampla variedade de cenários, desde modelos de linguagem grandes (LLMs), modelos visuais, modelos de áudio até modelos clássicos de aprendizado de máquina, fornecendo...
03-10 8150Recomendado
Nexa: uma pequena solução de IA multimodal que é executada localmente
A Nexa AI é uma plataforma focada em soluções multimodais de IA executadas localmente. Ela oferece uma ampla variedade de modelos de IA, incluindo processamento de linguagem natural (NLP), visão computacional, reconhecimento e geração de fala (ASR e TTS), que podem ser executados em dispositivos locais sem depender de serviços em nuvem. Isso ...
02-01 1.2 K0Recomendado
vLLM: um mecanismo de serviço e inferência LLM para utilização eficiente da memória
O vLLM é um mecanismo de serviço e raciocínio de alto rendimento e eficiente em termos de memória, projetado para Modelagem de Linguagem Grande (LLM). Originalmente desenvolvido pelo Sky Computing Lab da Universidade da Califórnia em Berkeley, tornou-se um projeto comunitário conduzido pelo setor acadêmico e pelo setor.
01-17 1.1 K0Recomendado
Llama 3.2 Reasoning WebGPU: executando o Llama-3.2 em um navegador
Transformers.js é uma biblioteca JavaScript fornecida pela Hugging Face projetada para executar modelos de aprendizado de máquina de última geração diretamente no navegador, sem suporte de servidor. A biblioteca é compatível com a versão Python do transformador da Hugging Face...
01-15 1.1 K0Recomendado
Harbor: um conjunto de ferramentas em contêineres para implantar ambientes locais de desenvolvimento do LLM com um clique e gerenciar e executar facilmente os serviços de IA
O Harbor é um revolucionário conjunto de ferramentas LLM em contêineres voltado para a simplificação da implantação e do gerenciamento de ambientes locais de desenvolvimento de IA. Ele permite que os desenvolvedores iniciem e gerenciem todos os componentes do serviço de IA, incluindo o back-end do LLM, as interfaces de API e as interfaces de front-end com um único clique por meio de uma interface de linha de comando (CLI) limpa e um aplicativo complementar....
01-02 1.4 K0Recomendado
Xinference: implantação e veiculação fáceis de modelos de IA distribuídos
O Xorbits Inference (Xinference, para abreviar) é uma biblioteca avançada e versátil voltada para a implantação distribuída e o fornecimento de modelos de linguagem, modelos de reconhecimento de fala e modelos multimodais. Com o Xorbits Inference, os usuários podem facilmente implantar e servir seus próprios modelos ou modelos avançados incorporados,...
01-02 9330Recomendado
Galeria de desenvolvimento de IA: Conjunto de ferramentas de desenvolvimento de modelos de IA nativos do Windows, integração de modelos do lado final em aplicativos do Windows
O AI Dev Gallery é um aplicativo de ferramentas de desenvolvimento de IA da Microsoft (atualmente em visualização pública) projetado para desenvolvedores do Windows. Ele fornece uma plataforma abrangente para ajudar os desenvolvedores a integrar facilmente os recursos de IA em seus aplicativos do Windows. O recurso mais notável da ferramenta é que ela fornece...
12-30 1.4 K0Recomendado
LightLLM: uma estrutura leve e eficiente para raciocinar e atender a grandes modelos de linguagem
O LightLLM é uma estrutura de serviço e inferência de Modelo de Linguagem Grande (LLM) baseada em Python, conhecida por seu design leve, facilidade de extensão e desempenho eficiente. A estrutura aproveita uma variedade de implementações de código aberto bem conhecidas, incluindo FasterTransformer, TGI, vLLM e FlashAtten...
12-17 1.0 K0Recomendado
Transformers.js: quase 700 macromodelos de IA em execução na Web local
Transformers.js é uma biblioteca JavaScript desenvolvida pela Hugging Face para permitir que os usuários executem modelos de aprendizado de máquina de última geração diretamente no navegador sem suporte de servidor. A biblioteca é compatível com os transformadores Python da Hugging Face...
12-02 1.4 K0Recomendado
GLM Edge: a Smart Spectrum lança modelos de linguagem de ponta e modelos de compreensão multimodal para plataformas móveis, automotivas e de PC
O GLM-Edge é uma série de modelos de linguagem ampla e modelos de compreensão multimodal projetados para dispositivos finais da Universidade de Tsinghua (Smart Spectrum Light Language). Esses modelos incluem GLM-Edge-1.5B-Chat, GLM-Edge-4B-Chat, GLM-Edge-V-2B e GLM-Edge-V-5...
12-01 1.4 K0Recomendado
EXO: execução de clusters de IA distribuídos usando dispositivos domésticos ociosos, com suporte a vários mecanismos de inferência e descoberta automatizada de dispositivos.
O Exo é um projeto de código aberto que tem como objetivo executar seu próprio cluster de IA usando dispositivos cotidianos (por exemplo, iPhone, iPad, Android, Mac, Linux etc.). Por meio do particionamento dinâmico de modelos e da descoberta automatizada de dispositivos, o Exo é capaz de unificar vários dispositivos em uma única GPU avançada, com suporte a vários modelos, como LLaMA, Mistral...
11-28 2.2 K0Recomendado
LocalAI: soluções de implementação de IA local de código aberto, suporte para várias arquiteturas de modelo, gerenciamento unificado de modelos e APIs na WebUI
O LocalAI é uma alternativa de IA local de código aberto que visa fornecer interfaces de API compatíveis com o OpenAI, Claude e outros. Ele suporta a execução em hardware de nível de consumidor, não requer uma GPU e é capaz de executar uma ampla gama de tarefas, como texto, áudio, vídeo, geração de imagens e clonagem de fala.
11-28 1.8 K0Recomendado
llamafile: distribuir e executar LLMs usando um único arquivo, simplificar a implementação de LLMs, suporte multiplataforma para LLMs
O llamafile é uma ferramenta do projeto Mozilla Builders criada para simplificar a implantação e a operação do Large Language Model (LLM). Ao combinar o llama.cpp com a Cosmopolitan Libc, o llamafile elimina a complexidade da implantação do LLM...
11-21 1.4 K0Recomendado
Petals: execução distribuída de GPU compartilhada e ajuste fino de grandes modelos de linguagem, compartilhando recursos de GPU como uma rede BitTorrent
O Petals é um projeto de código aberto desenvolvido pelo BigScience Workshop para executar grandes modelos de linguagem (LLMs) por meio de uma abordagem de computação distribuída. Os usuários podem executar e ajustar os LLMs em casa usando GPUs de nível de consumidor ou o Google Colab , e.g. Llama 3 .....
11-20 1.4 K0Recomendado
Mecanismo Aphrodite: um mecanismo de inferência LLM eficiente que oferece suporte a vários formatos de quantificação e inferência distribuída.
O Aphrodite Engine é o mecanismo de back-end oficial do PygmalionAI, projetado para fornecer um ponto de extremidade de inferência para sites do PygmalionAI e para dar suporte à rápida implementação de modelos compatíveis com o Hugging Face. O mecanismo aproveita a tecnologia Paged Attention do vLLM para possibilitar uma eficiente...
11-20 1.3 K0Recomendado

Português do Brasil