Tema Nab, tema de navegação mais profissional

Ctrl + D Marcar este site como favorito

Implantação local de ferramentas de modelo grande de código aberto

 Enviar site

llm.pdf: projeto experimental para executar um modelo de linguagem em grande escala em um arquivo PDF
Introdução geral O llm.pdf é um projeto de código aberto que permite aos usuários executar modelos de linguagem grandes (LLMs) diretamente em arquivos PDF. Desenvolvido por EvanZhouDev e hospedado no GitHub, esse projeto demonstra uma abordagem inovadora: llama.cpp via Emscripten...
05-05 810Recomendado
Aana SDK: uma ferramenta de código aberto para facilitar a implantação de modelos de IA multimodais
综合介绍 Aana SDK 是一个开源框架，由 Mobius Labs 开发，名字源于马拉雅拉姆语“ആന”（大象）。它帮助开发者快速部署和管理多模态 AI 模型，支持处理文本、图像、音频和视频等多种数据。Aana SDK 基于 Ray 分布...
03-25 3530Recomendado
BrowserAI: Executando modelos de IA localmente no navegador com WebGPUs
综合介绍 BrowserAI 是一个开源工具，让用户直接在浏览器中运行本地 AI 模型。它由 Cloud-Code-AI 团队开发，支持像 Llama、DeepSeek、Kokoro 这样的语言模型。用户无需服务器或复杂设置，就能通过浏览器...
03-16 3650Recomendado
LitServe: implantação rápida de serviços de inferência de modelos de IA de uso geral de nível empresarial
Introdução abrangente O LitServe é um mecanismo de serviço de modelo de IA de código aberto da Lightning AI, desenvolvido com base na FastAPI, com foco na implantação rápida de serviços de inferência para modelos de IA de uso geral. Ele oferece suporte a um amplo campo de modelos clássicos de aprendizado de máquina, desde modelos de linguagem ampla (LLMs), modelos visuais, modelos de áudio, até...
03-10 2940Recomendado
Nexa: uma pequena solução de IA multimodal que é executada localmente
Introdução abrangente A Nexa AI é uma plataforma focada em soluções multimodais de IA executadas localmente. Ela oferece uma ampla variedade de modelos de IA, incluindo processamento de linguagem natural (NLP), visão computacional, reconhecimento e geração de fala (ASR e TTS), que podem ser executados localmente em dispositivos sem depender da nuvem...
02-01 6790Recomendado
vLLM: um mecanismo de serviço e inferência LLM para utilização eficiente da memória
Introdução abrangente O vLLM é um mecanismo de serviço e raciocínio de alto rendimento e eficiente em termos de memória, projetado para Modelagem de Linguagem Grande (LLM). Originalmente desenvolvido pelo Sky Computing Lab da Universidade da Califórnia em Berkeley, tornou-se um projeto comunitário conduzido pelo setor acadêmico e pelo setor.
01-17 5160Recomendado
Llama 3.2 Reasoning WebGPU: executando o Llama-3.2 em um navegador
综合介绍 Transformers.js 是 Hugging Face 提供的一个 JavaScript 库，旨在将最先进的机器学习模型直接在浏览器中运行，无需服务器支持。该库与 Hugging Face 的 Python 版 transf...
01-15 7010Recomendado
Harbor: um conjunto de ferramentas em contêineres para implantar ambientes locais de desenvolvimento do LLM com um clique e gerenciar e executar facilmente os serviços de IA
Introdução abrangente O Harbor é um conjunto revolucionário de ferramentas LLM em contêineres, focado na simplificação da implantação e do gerenciamento de ambientes locais de desenvolvimento de IA. Ele permite que os desenvolvedores iniciem e gerenciem todos os serviços de IA, incluindo back-ends de LLM, interfaces de API, interfaces de front-end etc., com um único clique por meio de uma interface de linha de comando (CLI) limpa e um aplicativo complementar...
01-02 9400Recomendado
Xinference: implantação e veiculação fáceis de modelos de IA distribuídos
综合介绍 Xorbits Inference（简称Xinference）是一个强大且多功能的库，专注于为语言模型、语音识别模型和多模态模型提供分布式部署和服务。通过Xorbits Inference，用户可以轻松部署和服务自己的模型或内置的...
01-02 4660Recomendado
Galeria de desenvolvimento de IA: Conjunto de ferramentas de desenvolvimento de modelos de IA nativos do Windows, integração de modelos do lado final em aplicativos do Windows
Introdução abrangente O AI Dev Gallery é um aplicativo de ferramentas de desenvolvimento de IA da Microsoft (atualmente em visualização pública) projetado para desenvolvedores do Windows. Ele fornece uma plataforma abrangente para ajudar os desenvolvedores a integrar facilmente os recursos de IA em seus aplicativos Windows. O recurso mais notável da ferramenta...
12-30 9090Recomendado
LightLLM: uma estrutura leve e eficiente para raciocinar e atender a grandes modelos de linguagem
综合介绍 LightLLM 是一个基于 Python 的大语言模型（LLM）推理和服务框架，以其轻量级设计、易于扩展和高效性能而著称。该框架利用了多种知名的开源实现，包括 FasterTransformer、TGI、vLLM 和 Flash...
12-17 5180Recomendado
Transformers.js: quase 700 macromodelos de IA em execução na Web local
综合介绍 Transformers.js 是由 Hugging Face 开发的一个 JavaScript 库，旨在让用户能够直接在浏览器中运行最先进的机器学习模型，而无需服务器支持。该库与 Hugging Face 的 Python 版 ...
12-02 1.0 K0Recomendado
GLM Edge: a Smart Spectrum lança modelos de linguagem de ponta e modelos de compreensão multimodal para plataformas móveis, automotivas e de PC
综合介绍 GLM-Edge 是清华大学（智谱轻言）推出的一系列专为端侧设备设计的大语言模型和多模态理解模型。这些模型包括 GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat、GLM-Edge-V-2B 和 GLM-Edg...
12-01 9590Recomendado
EXO: execução de clusters de IA distribuídos usando dispositivos domésticos ociosos, com suporte a vários mecanismos de inferência e descoberta automatizada de dispositivos.
综合介绍 Exo是一个开源项目，旨在利用日常设备（如iPhone、iPad、Android、Mac、Linux等）运行自己的AI集群。通过动态模型分区和自动设备发现，Exo能够将多个设备统一成一个强大的GPU，支持多种模型如LLaMA、Mi...
11-28 1.7 K0Recomendado
LocalAI: soluções de implementação de IA local de código aberto, suporte para várias arquiteturas de modelo, gerenciamento unificado de modelos e APIs na WebUI
综合介绍 LocalAI 是一个开源的本地AI替代方案，旨在提供与OpenAI、Claude等兼容的API接口。它支持在消费级硬件上运行，不需要GPU，能够进行文本、音频、视频、图像生成和语音克隆等多种任务。LocalAI 由 Ettore...
11-28 1.3 K0Recomendado
llamafile: distribuir e executar LLMs usando um único arquivo, simplificar a implementação de LLMs, suporte multiplataforma para LLMs
综合介绍 llamafile 是一个由 Mozilla Builders 项目推出的工具，旨在简化大语言模型（LLM）的部署和运行。通过将 llama.cpp 与 Cosmopolitan Libc 结合，llamafile 将复杂的 LL...
11-21 9510Recomendado
Petals: execução distribuída de GPU compartilhada e ajuste fino de grandes modelos de linguagem, compartilhando recursos de GPU como uma rede BitTorrent
综合介绍 Petals 是一个由 BigScience Workshop 开发的开源项目，旨在通过分布式计算的方式运行大型语言模型（LLMs）。用户可以在家中使用消费级 GPU 或 Google Colab 运行和微调 LLMs，如 Lla...
11-20 8920Recomendado
Mecanismo Aphrodite: um mecanismo de inferência LLM eficiente que oferece suporte a vários formatos de quantificação e inferência distribuída.
综合介绍 Aphrodite Engine是PygmalionAI的官方后端引擎，旨在为PygmalionAI网站提供推理端点，并支持Hugging Face兼容模型的快速部署。该引擎利用vLLM的Paged Attention技术，实现了...
11-20 8900Recomendado
llama.cpp: ferramenta de inferência eficiente, compatível com vários hardwares, fácil de implementar a inferência LLM
综合介绍 llama.cpp是一个用纯C/C++实现的库，旨在简化大语言模型（LLM）的推理过程。它支持多种硬件平台，包括Apple Silicon、NVIDIA GPU和AMD GPU，并提供多种量化选项以提高推理速度和减少内存使用。该项...
11-20 1.2 K0Recomendado

Português do Brasil