オープンソース・ビッグモデル・ツールのローカル展開

概要 llm.pdfは、PDFファイル内で大規模言語モデル(LLM)を直接実行できるオープンソースプロジェクトです。EvanZhouDevによって開発され、GitHubでホストされているこのプロジェクトは、革新的なアプローチを示しています: llama.cpp via Emscripten...

概要 Aana SDKはMobius Labsが開発したオープンソースのフレームワークで、マラヤーラム語のആന（象）にちなんで名付けられました。開発者がテキスト、画像、音声、動画などの処理をサポートするマルチモーダルAIモデルを迅速にデプロイし、管理するのに役立ちます。

一般的な紹介 BrowserAIは、ユーザーがブラウザで直接ネイティブAIモデルを実行できるオープンソースツールです。Cloud-Code-AIチームによって開発され、Llama、DeepSeek、Kokoroなどの言語モデルをサポートしています。ブラウザを使うのにサーバーや複雑な設定は必要ない。

包括的な紹介 LitServeは、FastAPI上に構築されたLightning AIによるオープンソースのAIモデルサービスエンジンであり、汎用AIモデル向けの推論サービスを迅速に展開することに重点を置いている。大規模言語モデル(LLM)、視覚モデル、音声モデルから...古典的な機械学習モデルを幅広くサポートする。

総合紹介 Nexa AIは、ローカルで動作するマルチモーダルAIソリューションに特化したプラットフォームです。自然言語処理（NLP）、コンピュータ・ビジョン、音声認識・生成（ASRとTTS）を含む幅広いAIモデルを提供し、そのすべてをクラウドに依存することなくデバイス上でローカルに実行することができる。

包括的な紹介 vLLMは、大規模言語モデリング（LLM）のために設計された、高スループットでメモリ効率の良い推論およびサービスエンジンです。もともとはUC BerkeleyのSky Computing Labによって開発されましたが、現在では学術界と産業界によるコミュニティ・プロジェクトとなっています。

一般的な紹介 Transformers.jsはHugging Faceが提供するJavaScriptライブラリで、最先端の機械学習モデルをサーバーのサポートなしにブラウザで直接実行できるように設計されています。このライブラリはHugging FaceのPython Transf...

包括的な紹介 Harborは、ローカルAI開発環境のデプロイと管理を簡素化することに焦点を当てた、画期的なコンテナ化LLMツールセットです。開発者は、LLMバックエンド、APIインターフェース、フロントエンドインターフェースなど、すべてのAIサービスを、クリーンなコマンドラインインターフェース（CLI）とコンパニオンアプリを通じて、ワンクリックで起動・管理することができます。

包括的な紹介 Xorbits Inference（略してXinference）は、言語モデル、音声認識モデル、マルチモーダルモデルの分散デプロイと配信に特化した、強力で汎用性の高いライブラリです。Xorbits Inferenceを使用すると、ユーザーは簡単に独自のモデルやビルトインモデルをデプロイし、提供することができます...

包括的な紹介 AI Dev Galleryは、Windows開発者向けに設計されたマイクロソフトのAI開発ツールアプリケーションです（現在パブリックプレビュー中）。開発者がAI機能をWindowsアプリケーションに簡単に統合するための包括的なプラットフォームを提供する。このツールの最大の特徴は...

包括的な紹介 LightLLMはPythonベースのLarge Language Model（LLM）推論とサービスのフレームワークで、軽量設計、拡張の容易さ、効率的なパフォーマンスで知られています。このフレームワークは、FasterTransformer、TGI、vLLM、Flash...などの有名なオープンソースの実装を活用しています。

一般的な紹介 Transformers.jsは、Hugging Faceによって開発されたJavaScriptライブラリで、最先端の機械学習モデルを、サーバーのサポートなしにブラウザ上で直接実行できるようにするものです。このライブラリはHugging FaceのPython ...

包括的な紹介 GLM-Edgeは、清華大学（Smart Spectrum Light Language）のエンドサイドデバイス用に設計された一連の大規模言語モデルとマルチモーダル理解モデルです。これらのモデルには、GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat、GLM-Edge-V-2B、GLM-Edg...

一般的な紹介 Exoは、日常的なデバイス（iPhone、iPad、Android、Mac、Linuxなど）を使用して独自のAIクラスタを実行することを目的としたオープンソースプロジェクトです。動的なモデル分割とデバイスの自動検出により、Exoは複数のデバイスを単一の強力なGPUに統合することができ、LLaMA、Mi...などの複数のモデルをサポートしています。

概要 LocalAIは、OpenAIやClaudeなどと互換性のあるAPIインターフェースを提供するように設計された、オープンソースのローカルAI代替ソフトウェアです。コンシューマーグレードのハードウェア上での実行をサポートし、GPUを必要とせず、テキスト、オーディオ、ビデオ、画像生成、スピーチクローンなどの幅広いタスクを実行することができます。

一般的な紹介 llamafile は Mozilla Builders プロジェクトのツールで、Large Language Model (LLM) の導入と運用を簡単にするために設計されています。llama.cpp と Cosmopolitan Libc を組み合わせることで、llamafile は LLM の複雑さを軽減します。

一般的な紹介 Petalsは、BigScienceワークショップによって開発されたオープンソースプロジェクトで、分散コンピューティングアプローチによって大規模言語モデル（LLM）を実行する。ユーザは、コンシューマグレードのGPUやGoogle Colabを使用して、自宅でLLMを実行し、微調整することができます。

包括的な紹介 AphroditeエンジンはPygmalionAIの公式バックエンドエンジンで、PygmalionAIのウェブサイトに推論エンドポイントを提供し、Hugging Face互換モデルの迅速な展開をサポートするように設計されています。このエンジンはvLLMのページド・アテンション・テクノロジーを利用して...

一般的な紹介 llama.cppは純粋なC/C++で実装されたライブラリで、大規模言語モデル(LLM)の推論プロセスを簡素化するように設計されています。Apple Silicon、NVIDIA GPU、AMD GPUを含む幅広いハードウェア・プラットフォームをサポートし、推論速度の向上とメモリ使用量の削減のための様々な定量化オプションを提供します。プロジェクト ...