Run Ollama Across Multiple Computers, One API

介绍

本地 AI 负载均衡软件，适用于 Ollama 和 MLX 队列。自动发现、智能路由、兼容 OpenAI 的 API，无需配置。非常适合 Mac Mini 和工作室。

AI 翻译

取自仓库 README

README

正在加载完整 README。 以下为已保存的摘录。

Turn all your devices into one local AI cluster. Ollama Herd is a smart inference router and load balancer that auto-discovers Ollama nodes via mDNS, routes LLMs, image generation, speech-to-text, and embeddings to the optimal device using intelligent scoring. OpenAI-compatible API. Zero config. Zero cost. ollamaherd.com — full docs, guides, and the live dashboard walkthrough.