GitHub Models：为开源AI项目解决推理难题，让AI更易用、更普及
引言：开源AI项目的“隐形门槛”
如今，AI功能几乎成了软件项目的标配。无论是智能摘要、代码补全，还是聊天机器人，我们都希望通过调用大模型的能力提升产品竞争力。
但对于开源项目来说，这背后隐藏着一个大难题：推理API的接入门槛过高。
你可能会看到类似这样的错误提示：
$ my-cool-ai-tool
Error: OPENAI_API_KEY not found
这意味着用户需要手动申请并支付OpenAI、Anthropic等API服务费用，仅仅为了“试一试”你的项目。更别说自托管模型还需要大量显存、本地配置、甚至无法在CI/CD（如GitHub Actions）中轻松运行。
这些都在无形中劝退了潜在用户与贡献者。
GitHub Models来了：开箱即用的免费推理服务
为了解决上述问题，GitHub 推出了 GitHub Models —— 一个 兼容 OpenAI API 且永久免费 的推理接口，专为开源项目设计。
✅ GitHub Models 的亮点：
- 完全免费：对所有 GitHub 用户和开源组织开放
- 免配置：无需申请新的API Key，只要你有 GitHub Token（包括 CI/CD 中的内置 GITHUB_TOKEN）
- 开箱即用：与 OpenAI SDK 100%兼容，代码基本无需改动
- 模型丰富：支持 GPT-4o、LLaMA 3、DeepSeek 等多个模型
如何使用 GitHub Models 进行推理？
以 JavaScript 示例为例，只需指定 baseURL 并使用 GitHub Token，即可调用：
import OpenAI from "openai";const openai = new OpenAI({baseURL: "https://models.github.ai/inference/chat/completions",apiKey: process.env.GITHUB_TOKEN
});const res = await openai.chat.completions.create({model: "openai/gpt-4o",messages: [{ role: "user", content: "Hi!" }]
});
console.log(res.choices[0].message.content);
只要用户拥有 GitHub 账户，就能跑通你的AI代码；运行在 GitHub Actions 的脚本甚至连 Token 都不需要配置！
GitHub Actions 中零配置集成AI
以前，我们必须在项目中添加 OPENAI_API_KEY 作为 GitHub Secret，这对新手用户和贡献者来说很不友好。
现在你只需在 workflow 文件中添加权限：
# .github/workflows/triage.yml
permissions:contents: readissues: writemodels: read # 👈 解锁 GitHub Models 权限jobs:triage:runs-on: ubuntu-lateststeps:- uses: actions/checkout@v4- name: Smart issue triagerun: node scripts/triage.js
你的CI脚本即可直接调用AI模型，无需任何额外配置。适用于：
- 自动PR摘要
- issue智能打标签
- 仓库每周更新摘要
- 更多脚本自动化应用
当你的项目爆红，如何扩展推理能力？
GitHub Models提供 免费套餐，但如果你的项目发展迅猛，也可以通过“Settings > Models”开启付费推理功能：
- 更高请求频率（RPM）
- 更大上下文窗口（最大支持128k token）
- 更低延迟（独立部署，避免共享队列）
写在最后：拥抱开源AI的未来
大语言模型正加速改变开发方式，但复杂的API配置和高昂的调用成本常常劝退了新用户。
GitHub Models 的出现彻底打破了这个壁垒：
- 用户不用注册/配置 API Key
- 维护者不用在文档中反复说明“你需要设置一个密钥”
- 贡献者可以快速上手调试/运行你的项目
- 所有 GitHub 用户都有默认访问权限
如果你正在开发或维护一个开源AI工具，不妨立即集成 GitHub Models，让AI“即插即用”！
原文链接：https://github.blog/ai-and-ml/llms/solving-the-inference-problem-for-open-source-ai-projects-with-github-models/