Octafuse Gateway

Octafuse Gateway 是面向 Agent 的可自托管开源 AI 网关。它将不同供应商的文本、图像、语音与工具能力汇聚到统一入口，支持 Chat Completions、OpenAI Responses API、图像生成与编辑、ASR、TTS、实时语音和智能体工具（Agent Tools），也可以接入自建或私有部署的 AI 服务。通过统一的路由、密钥、预算、计费和审计，Octafuse 帮助个人与团队集中管理和调度分散的 AI 资源。它不只是转发模型请求，更是面向 Agent 的可发现、可调用、可治理、可持续扩展的 AI 能力底座。

语言： 中文 · English · 日本語 · 한국어 · 官网： octafuse.dev

欢迎开源贡献 · 招募全职 / 兼职核心伙伴：从一次贡献开始，积累开源协作与工程经验，让你的想法成为项目的一部分。也期待热爱项目、具备用户思维、愿意长期投入并承担责任的伙伴，一起维护 Octafuse、探索商业化；有网关与 MaaS 经验者优先。了解如何参与 →

核心能力

Octafuse Gateway 的核心目标是构建统一超级个体（OPC）或企业内部的 AI 能力中枢。通过 Octafuse 将你所持有的各种模态的 AI 能力和多种多样的工具能力实现统一接入、分发、计费等企业级管理控制。

所以它具备以下这些核心能力：

1. 供应商（Provider）接入：支持接入任意模型厂商或聚合平台的模型服务。同时，内置大量导入模板（含各种 Coding/Token Plan），无需复制黏贴各平台的接入端点，直接一键导入，然后复制对应的 API 密钥（ApiKey）即可完成接入。支持一键导入的完整列表见官网 Providers Catalog，若有希望加入预置供应商的厂商，欢迎提交 PR。
2. AI 模型接入：可直接从预置目录导入模型，无需逐项填写常用参数和价格。支持一键导入的模型列表见官网 Models Catalog；若希望接入新的模型，欢迎提交 PR。
3. 多协议接入：AI 模型全协议接入，目前支持:
   • OpenAI 端点：
     • Chat Completions：POST /v1/chat/completions
     • Responses：POST /v1/responses
     • Images：POST /v1/images/generations、POST /v1/images/edits
     • Audio：POST /v1/audio/transcriptions、POST /v1/audio/speech
     • Models：GET /v1/models
   • Anthropic 端点：POST /v1/messages
   • Google Gemini 端点：POST /v1beta/models/{model}:generateContent（含 streamGenerateContent）
   • DashScope 原生端点：
     • 同步多模态（ASR、Qwen-TTS、生图）：POST /dashscope/api/v1/services/aigc/multimodal-generation/generation
     • 语音合成：POST /dashscope/api/v1/services/audio/tts/SpeechSynthesizer
     • 异步文件转写：POST /dashscope/api/v1/services/audio/asr/transcription、GET /dashscope/api/v1/tasks/{taskId}
     • 实时音频：GET /dashscope/api-ws/v1/inference（run-task）/ GET /dashscope/api-ws/v1/realtime?model=（Qwen-Realtime 会话）
   • MiniMax 原生端点：
     • 文件转写：POST /minimax/v1/speech_to_text
     • 语音合成：POST /minimax/v1/t2a_v2
     • 生图：POST /minimax/v1/image_generation
   • 火山方舟原生端点（Seedream 生图）：POST /volcengine/api/v3/images/generations
4. 协议适配与转换：可在路由中选择客户端与上游的协议转换关系，让应用继续使用熟悉的调用方式接入不同供应商。例如，可直接用 OpenAI 图片接口调用阿里云百炼的千问 / 万相、火山方舟的 Seedream 和 MiniMax 图像模型，或用 OpenAI 语音接口调用百炼与 MiniMax 的语音识别和语音合成。
5. 智能体工具接入：通过 /v1/tools/* 统一接入各种供 Agent 使用的工具，并提供日志、计费、成本管控，以方便 Agent 同时从 Gateway 接入模型和工具。当前预置工具如下：
   • 联网搜索（POST /v1/tools/web-search）：博查、Tavily、阿里云 CleverSee、腾讯云联网搜索 WSA
   • 网页抓取（POST /v1/tools/web-fetch）：Firecrawl、Tavily Extract、Jina Reader
   • 深度搜索（POST /v1/tools/web-deep-search，搜+读一体）：Firecrawl Search、Jina Search

管理后台一览

供应商接入	请求入口（Request Surface）→ 策略 → 上游目标（Upstream Target） 路由拓扑

供应商页面负责接入上游账号与协议端点；路由页面把客户端请求入口、路由策略和上游目标放在一条可视链路中。完整配置顺序见 管理后台配置指南。

与其他开源 AI Gateway 的差异

New API、LiteLLM、Sub2API 和 Bifrost 都是成熟且各有所长的开源 AI Gateway。Octafuse 更关注 Agent 能力交付与 AI 资源运营，主要差异集中在以下五个方向：

重点方向	Octafuse 内建机制	适合场景
Agent 能力	联网搜索、网页抓取、深度搜索，以及工具调用日志与计费	为 Agent 同时提供模型与工具
资源接入	供应商 / 模型预设、多协议端点和一键导入	统一管理分散的 AI 资源
精细路由	独立路由池、分层策略、缓存亲和、主备与熔断	在稳定性、缓存命中率和成本间平衡
运营计费	目录价、供应成本、用户扣费三账本，支持分时与多模态计价	内部核算、额度管理或对外运营
灵活部署	Docker + 多数据库，或 Cloudflare Workers + D1	自托管、边缘部署与低成本起步

评级说明：

• ✅ 完善：公开版本已形成覆盖该维度主要场景的完整机制
• 🟡 良好：具备成熟的核心能力，但覆盖范围或运营深度相对有限
• 🟠 基础：具备可用的基础实现，仍需较多外部组件或二次开发
• ⚪ 无：官方公开文档未将其列为同类内建能力

能力接入与 Agent

细分能力	Octafuse	New API	LiteLLM	Sub2API	Bifrost
供应商 / 模型预设与一键导入	✅	🟡	🟡	🟡	🟡
OpenAI、Anthropic、Gemini 主流协议接入	✅	✅	✅	✅	✅
DashScope 原生同步 / 实时音频与跨协议路由	✅¹	⚪	⚪	⚪	⚪
文本、图像、语音与视频等多模态覆盖	🟡²	✅	✅	🟡	✅
内置联网搜索、抓取与深度搜索	✅	⚪	🟠	🟠	🟠
工具供应商配置、调用日志与计费	✅	⚪	🟡	🟠	🟠

路由与治理

细分能力	Octafuse	New API	LiteLLM	Sub2API	Bifrost
协议 / operation 级请求入口与独立路由池	✅	🟠	🟡	🟡	🟡
多策略分流与分层覆盖	✅	🟡	✅	🟡	🟡
Prompt Cache 亲和路由	✅	🟡	✅	✅	✅
优先级主备、故障转移与供应商熔断	✅	🟡	✅	🟡	✅
外部系统、用户与 API 密钥分层治理	✅	🟡	✅	🟡	✅
周期预算、状态与模型访问控制	✅	✅	✅	✅	✅

计费

细分能力	Octafuse	New API	LiteLLM	Sub2API	Bifrost
目录价、供应成本、用户扣费三账本	✅	⚪	⚪	✅	⚪
按业务时区的分时计价倍率	✅	⚪	⚪	🟡	⚪
图像 / 语音差异化计价	✅	🟡	🟡	🟡	🟠
智能体工具按次计费	✅	⚪	🟡	🟠	🟠

运维与部署

细分能力	Octafuse	New API	LiteLLM	Sub2API	Bifrost
管理后台	✅	✅	✅	✅	✅
管理 API	✅	✅	✅	✅	✅
可观测性	✅	✅	✅	✅	✅
SQLite / D1	✅	✅	⚪	⚪	✅
PostgreSQL	✅	✅	✅	✅	✅
MySQL	✅	✅	⚪	⚪	⚪
Docker 自托管部署	✅	✅	✅	✅	✅
Cloudflare Workers 边缘部署	✅	⚪	⚪	⚪	⚪

1 Octafuse 支持 DashScope 原生同步 / 异步 ASR、语音合成、实时 ASR / TTS 与生图，并可将 OpenAI 兼容的图像、ASR、TTS 请求跨协议路由至 DashScope。MiniMax 与火山方舟的原生接口按同样方式接入。 2 Octafuse 当前已覆盖文本、图像、ASR、TTS 与实时语音；视频等能力尚未纳入统一请求入口。

评价基于各项目当前公开仓库与官方文档，重点衡量“是否内建并形成完整机制”，不评价性能、社区规模、商业支持或二次开发潜力。这是围绕 Octafuse 产品定位的能力比较，不是对各项目全部功能的综合排名。各项目持续演进，具体能力和授权范围请以其最新官方文档为准。

快速开始

需要 Node.js 20+。代理服务（Proxy）与管理后台需两个终端同时运行。

git clone https://github.com/OctaFuse/octafuse-gateway.git
cd octafuse-gateway
npm install
npm run db:migrate

终端 1 — 代理服务（:8787）：

npm run dev:proxy

终端 2 — 管理后台（:8789）：

npm run dev:admin

服务	地址	说明
代理服务	http://127.0.0.1:8787	推理入口
管理后台	http://127.0.0.1:8789	控制台；本地默认账号 admin / admin

首次运行 dev:admin 会生成 packages/admin/.dev.vars。打开管理后台，配置供应商、路由和用户 API 密钥，然后使用该密钥调用代理服务。详细步骤与 curl 示例见 docs/users/quickstart.md。

部署到 Cloudflare

npx wrangler login
npm run bootstrap:cloudflare

详见 Cloudflare 快速部署。用于生产环境前，请修改默认管理后台密码，并为外部集成创建独立、最小权限的 Admin API Key。

Docker 自托管及 Postgres / MySQL 数据库方案见 部署文档索引。

文档

任务	链接
功能地图、管理后台配置、客户端接入	docs/users/
本地上手与示例请求	docs/users/quickstart.md
API、集成、本地开发、架构	docs/developers/
Cloudflare / Docker / 迁移	docs/operators/
发版与维护	docs/maintainers/
HTTP 示例	examples/README.md

贡献与安全

欢迎从代码、产品体验、测试、文档或用户支持开始参与。贡献方向、长期共建与全职 / 兼职合作机会，详见 参与与共建说明。

• CONTRIBUTING.md
• CODE_OF_CONDUCT.md
• SECURITY.md
• docs/CONVENTIONS.md

开源协议

本仓库使用 GNU Affero General Public License v3.0（AGPLv3） 授权，详见 LICENSE。