Octafuse Gateway

Octafuse Gateway 是面向 Agent 的可自托管开源 AI 网关。它将不同供应商的文本、图像、语音与工具能力汇聚到统一入口，支持 Chat Completions、OpenAI Responses API、图像生成与编辑、ASR、TTS、实时语音和智能体工具（Agent Tools），也可以接入自建或私有部署的 AI 服务。通过统一的路由、密钥、预算、计费和审计，Octafuse 帮助个人与团队集中管理和调度分散的 AI 资源。它不只是转发模型请求，更是面向 Agent 的可发现、可调用、可治理、可持续扩展的 AI 能力底座。

语言： 中文 · English · 日本語 · 한국어 · 官网： octafuse.dev

核心能力

Octafuse Gateway 的核心目标是构建统一超级个体（OPC）或企业内部的 AI 能力中枢。通过 Octafuse 将你所持有的各种模态的 AI 能力和多种多样的工具能力实现统一接入、分发、计费等企业级管理控制。

所以它具备以下这些核心能力：

1. 供应商（Provider）接入：支持接入任意模型厂商或聚合平台的模型服务。同时，内置大量导入模板（含各种 Coding/Token Plan），无需复制黏贴各平台的接入端点，直接一键导入，然后复制对应的 API 密钥（ApiKey）即可完成接入。支持一键导入的完整列表见官网 Providers Catalog，若有希望加入预置供应商的厂商，欢迎提交 PR。
2. AI模型接入：需要提供哪些 AI 模型的接入，也可以通过预置的模型数据直接导入，无需配置各种模型参数、价格等基本信息。支持一键导入的模型列表见官网 Models Catalog；若希望接入新的模型，欢迎提交 PR。
3. 多协议接入：AI 模型全协议接入，目前支持:
   • OpenAI 端点：
   • Chat Completions：POST /v1/chat/completions
   • Responses：POST /v1/responses
   • Images：POST /v1/images/generations、POST /v1/images/edits
   • Audio：POST /v1/audio/transcriptions、POST /v1/audio/speech
   • Models：GET /v1/models
   • Anthropic 端点：POST /v1/messages
   • Google Gemini 端点：POST /v1beta/models/{model}:generateContent（含 streamGenerateContent）
   • DashScope 实时音频：GET /v1/dashscope/realtime
4. 智能体工具接入：通过 /v1/tools/* 统一接入各种供 Agent 使用的工具，并提供日志、计费、成本管控，以方便 Agent 同时从 Gateway 接入模型和工具。当前预置工具如下：
   • 联网搜索（POST /v1/tools/web-search）：博查、Tavily、阿里云 CleverSee、腾讯云联网搜索 WSA
   • 网页抓取（POST /v1/tools/web-fetch）：Firecrawl、Tavily Extract、Jina Reader
   • 深度搜索（POST /v1/tools/web-deep-search，搜+读一体）：Firecrawl Search、Jina Search
   • 更多工具持续接入中，也欢迎 PR 继续丰富智能体常用工具。
5. AI 能力统一出口：与所有网关一样，它是请求的中枢，即使能力汇总的地方，也是能力集中分发的地方。上面所有接入的 AI 能力都通过Octafuse Gateway 部署后的地址提供统一的接入 BaseUrl。换言之，上面你接入的各种平台、工具的 BaseUrl都不需要记了，只需要记住网关的即可。
6. 多样的路由策略：当一个模型我们有多个资源的时候，为了更高效的使用资源，可以根据情况配置不同的路由策略。目前支持四种策略：
   • hash_affinity：默认策略；同用户、模型、协议稳定首选上游，缓存命中率高，适合依赖 Prompt Cache、会话连续性的场景；短时流量不一定完全均匀
   • weighted_random：按权重加权随机分流，负载均衡性高，适合按比例分摊成本或 A/B；同一用户可能频繁切换供应商，缓存命中率较低
   • weight_priority：按权重从高到低固定排序，结果可预测，适合同层明确主备；首选供应商会承担大部分流量
   • weighted_round_robin：按权重轮转分摊，流量更均匀；计数器按运行实例维护，多实例间不保证全局同步
7. 用户管理与记账一体化：有了统一接入点之后，剩下用户管理、额度管理、成本管理一堆下游的功能。Octafuse 提供了一套企业化的管理机制，包括：
   • 支持系统（External system）、用户（User）、API 密钥三层维度：每个用户因为有一个External system字段，所以可以区分不同的系统或者团队。用户下面是 API 密钥，真正调用 Gateway 能力通过 API 密钥完成鉴权、扣费和审计。
   • 三账本设计：每一个调用对于计费涵盖三个费用计算，包括：目录价（模型/工具标准价）、成本价（实际采购价格）、用户价（用户扣除额度）
   • 分时倍率：有的模型有峰谷计费的设计，利用分时倍率可以更精准的计算成本数据；同时如果对外服务，也可以更配置灵活的计价方案来支持运营促销
8. 管理后台（Admin）与管理API：
   • 具备完善的管理后台和管理接口，可以手工维护也可以接入其他系统门户使用
   • 可观测性与数据分析：详细记录了请求细节和各类数据，可以方便查看、统计、分析
   • 测试与联调：提供调试台（Playground）/ 模拟器（Simulator）页面功能，用户在接入新供应商和模型的时候，可以快速检验接口配置是否正确，服务商模型是否可靠
9. 灵活的部署方式：
   • 支持 Cloudflare Workers + D1 免费部署
   • 支持 Docker + Postgres / MySQL 部署

管理后台一览

供应商接入	请求入口（Request Surface）→ 策略 → 上游目标（Upstream Target） 路由拓扑

供应商页面负责接入上游账号与协议端点；路由页面把客户端请求入口、路由策略和上游目标放在一条可视链路中。完整配置顺序见 管理后台配置指南。

与其他开源 AI Gateway 的差异

New API、LiteLLM、Sub2API 和 Bifrost 都是成熟且各有所长的开源 AI Gateway。Octafuse 更关注 Agent 能力交付与 AI 资源运营，主要差异集中在以下五个方向：

评级说明：

• ✅ 完善：公开版本已形成覆盖该维度主要场景的完整机制
• 🟡 良好：具备成熟的核心能力，但覆盖范围或运营深度相对有限
• 🟠 基础：具备可用的基础实现，仍需较多外部组件或二次开发
• ⚪ 无：官方公开文档未将其列为同类内建能力

评价基于各项目当前公开仓库与官方文档，重点衡量“是否内建并形成完整机制”，不评价性能、社区规模、商业支持或二次开发潜力。这是围绕 Octafuse 产品定位的能力比较，不是对各项目全部功能的综合排名。各项目持续演进，具体能力和授权范围请以其最新官方文档为准。

快速开始

需要 Node.js 20+。代理服务（Proxy）与管理后台需两个终端同时运行。

git clone https://github.com/OctaFuse/octafuse-gateway.git
cd octafuse-gateway
npm install
npm run db:migrate

终端 1 — 代理服务（:8787）：

npm run dev:proxy

终端 2 — 管理后台（:8789）：

npm run dev:admin

首次运行 dev:admin 会生成 packages/admin/.dev.vars。打开管理后台，配置供应商、路由和用户 API 密钥，然后使用该密钥调用代理服务。详细步骤与 curl 示例见 docs/users/quickstart.md。

部署到 Cloudflare

npx wrangler login
npm run bootstrap:cloudflare

详见 Cloudflare 快速部署。用于生产环境前，请修改默认管理后台密码，并为外部集成创建独立、最小权限的 Admin API Key。

Docker 自托管及 Postgres / MySQL 数据库方案见 部署文档索引。

文档

贡献与安全

• CONTRIBUTING.md
• CODE_OF_CONDUCT.md
• SECURITY.md
• docs/CONVENTIONS.md

开源协议

本仓库使用 GNU Affero General Public License v3.0（AGPLv3） 授权，详见 LICENSE。