2.5 使用免费的大模型

6 分钟阅读

在本章节中,我们将介绍如何将免费的大模型接入到Claude Code中,主要通过以下几种方式:使用免费大模型提供商的服务、本地搭建免费大模型,以及通过ClaudeCodeRouter实现接入。

一、寻找免费大模型提供商#

1.1 OpenRouter#

OpenRouter是一个聚合了多种大模型的平台,其中包含一些免费或提供免费额度的模型。

步骤 1:注册OpenRouter账户

  1. 访问OpenRouter官网:https://openrouter.ai/
  2. 点击右上角的"Sign Up"按钮
  3. 使用邮箱或GitHub账户完成注册
  4. 登录后进入控制台

步骤 2:获取免费模型

  1. 在控制台中点击"Models"标签
  2. 筛选"Free"模型,查看可用的免费模型
  3. 选择适合的模型,例如:
    • Llama 3 8B Instruct
    • Mistral 7B Instruct
    • Gemma 7B Instruct

步骤 3:获取API密钥

  1. 在控制台中点击"API Keys"标签
  2. 点击"Create API Key"按钮
  3. 为密钥命名,选择访问权限
  4. 复制生成的API密钥,妥善保存

1.2 阿里云通义千问#

阿里云提供的通义千问模型也提供一定的免费额度。

步骤 1:注册阿里云账户

  1. 访问阿里云官网:https://www.aliyun.com/
  2. 点击右上角的"免费注册"按钮
  3. 使用手机号完成注册和实名认证

步骤 2:开通通义千问服务

  1. 搜索"通义千问",进入产品页面
  2. 点击"立即开通",按照提示完成开通
  3. 进入通义千问控制台

步骤 3:寻找免费模型

  1. 在官网文档中,寻找可免费使用的大模型列表
  2. 将它们保存起来

步骤 4:获取API密钥

  1. 在控制台中进入"API密钥管理"页面
  2. 点击"创建AccessKey"按钮
  3. 复制生成的AccessKey ID和AccessKey Secret,妥善保存

二、本地搭建Ollama运行免费大模型#

Ollama是一个可以在本地运行大模型的工具,支持多种开源免费模型。

2.1 安装Ollama#

macOS

  1. 访问Ollama官网:https://ollama.com/
  2. 点击"Download for macOS"按钮
  3. 打开下载的DMG文件,将Ollama拖拽到Applications文件夹
  4. 打开终端,运行ollama --version验证安装成功

Windows

  1. 访问Ollama官网:https://ollama.com/
  2. 点击"Download for Windows"按钮
  3. 运行下载的安装程序,按照提示完成安装
  4. 打开命令提示符或PowerShell,运行ollama --version验证安装成功

Linux

  1. 打开终端,运行以下命令:
    bash
    curl -fsSL https://ollama.com/install.sh | sh
  2. 安装完成后,运行ollama --version验证安装成功

2.2 下载并运行免费大模型#

  1. 打开终端,运行以下命令下载并运行Llama 3 8B模型:
    bash
    ollama run llama3
  2. Ollama会自动下载模型并启动交互式会话
  3. 测试模型:输入你好,请介绍一下自己,查看模型回复
  4. 退出交互式会话:输入/bye

2.3 启动Ollama API服务#

  1. 打开终端,运行以下命令启动Ollama API服务:
    bash
    ollama serve
  2. API服务默认运行在http://localhost:11434
  3. 测试API服务:
    bash
    curl http://localhost:11434/api/chat -d '{"model": "llama3", "messages": [{"role": "user", "content": "你好"}]}'
  4. 如果返回模型回复,则说明API服务运行正常

三、将免费大模型接入到ClaudeCodeRouter#

ClaudeCodeRouter是一个中间层服务,可以将多种大模型接入到Claude Code中。

3.1 安装ClaudeCodeRouter#

请参考上一节内容。

3.2 配置ClaudeCodeRouter#

  1. 创建配置文件router.config.json

    json
    { "port": 3000, "models": [ { "name": "llama3", "type": "ollama", "baseUrl": "http://localhost:11434", "model": "llama3" }, { "name": "openrouter-llama3", "type": "openrouter", "apiKey": "your_openrouter_api_key", "model": "meta-llama/llama-3-8b-instruct:free" } ] }
  2. 配置说明:

    • port:ClaudeCodeRouter服务端口
    • models:模型列表,支持多种模型配置
    • type:模型类型,支持"ollama"、"openrouter"、"aliyun"等
    • baseUrl:模型API地址(针对本地模型)
    • apiKey:模型API密钥(针对云服务)
    • model:模型名称

3.3 启动ClaudeCodeRouter服务#

  1. 打开终端,运行以下命令:
    bash
    ccr start
  2. 服务启动

四、将Claude Code接入到ClaudeCodeRouter#

4.1 配置Claude Code#

  1. 打开Claude Code的配置文件,不同操作系统的位置:

    • macOS/Linux:~/.claude/settings.json
    • Windows:%USERPROFILE%\.claude\settings.json
  2. 编辑配置文件,添加以下内容:

    json
    { "env": { "ANTHROPIC_BASE_URL": "http://localhost:3456", "ANTHROPIC_AUTH_TOKEN": "sk-anything", "ANTHROPIC_DEFAULT_OPUS_MODEL": "llama3", "ANTHROPIC_DEFAULT_SONNET_MODEL": "llama3", "ANTHROPIC_DEFAULT_HAIKU_MODEL": "llama3" } }
  3. 配置说明:

    • ANTHROPIC_BASE_URL:ClaudeCodeRouter服务地址
    • ANTHROPIC_AUTH_TOKEN:可以填写任意值,ClaudeCodeRouter暂不验证密钥
    • ANTHROPIC_DEFAULT_*_MODEL:将Claude模型映射到免费模型

4.2 重启Claude Code#

  1. 关闭所有Claude Code窗口
  2. 打开一个新的终端窗口
  3. 进入代码工作目录,运行claude命令启动Claude Code

4.3 验证配置#

  1. 在Claude Code的聊天界面中,输入测试消息:
    bash
    你好,请介绍一下自己。
  2. 如果看到免费模型的回复,说明配置成功
  3. 输入/status命令,查看当前使用的模型状态
  4. 可以看到模型名称显示为配置的免费模型

五、进阶配置与优化#

5.1 配置多个免费模型#

在ClaudeCodeRouter配置文件中,可以添加多个免费模型,实现模型切换:

json
{ "port": 3000, "models": [ { "name": "llama3", "type": "ollama", "baseUrl": "http://localhost:11434", "model": "llama3" }, { "name": "mistral", "type": "ollama", "baseUrl": "http://localhost:11434", "model": "mistral" }, { "name": "gemma", "type": "ollama", "baseUrl": "http://localhost:11434", "model": "gemma:7b" } ] }

5.2 模型切换#

在Claude Code中,可以通过修改配置文件中的ANTHROPIC_DEFAULT_*_MODEL值来切换不同的免费模型:

json
{ "env": { "ANTHROPIC_DEFAULT_OPUS_MODEL": "mistral", "ANTHROPIC_DEFAULT_SONNET_MODEL": "mistral", "ANTHROPIC_DEFAULT_HAIKU_MODEL": "mistral" } }

5.3 性能优化#

  • 对于本地运行的模型,可以调整Ollama的配置以提高性能:

    bash
    export OLLAMA_NUM_GPU=1 # 使用GPU加速 ollama serve
  • 对于ClaudeCodeRouter,可以调整日志级别和超时时间:

    json
    { "port": 3000, "logLevel": "info", "timeout": 60000, "models": [ // 模型配置 ] }

六、常见问题及解决方案#

6.1 ClaudeCodeRouter启动失败#

  • 检查端口是否被占用:使用lsof -i :3000查看端口占用情况
  • 检查配置文件格式是否正确:使用JSON验证工具检查配置文件
  • 检查Node.js版本是否符合要求:建议使用v18或更高版本

6.2 Claude Code无法连接到ClaudeCodeRouter#

  • 检查ClaudeCodeRouter服务是否正在运行
  • 检查配置文件中的ANTHROPIC_BASE_URL是否正确
  • 检查网络连接是否正常
  • 尝试重启Claude Code和ClaudeCodeRouter

6.3 模型回复速度慢#

  • 对于本地模型,检查电脑配置是否足够:建议至少8GB RAM,最好有GPU加速
  • 对于云服务模型,检查网络连接是否稳定
  • 尝试使用更小尺寸的模型,例如7B参数的模型

6.4 模型回复质量不佳#

  • 尝试使用更适合代码生成的模型,例如DeepSeek-Coder、CodeLlama等
  • 优化提示词,提供更清晰的指令
  • 调整模型参数,例如temperaturetop_p

七、总结#

通过以上步骤,我们可以将免费的大模型接入到Claude Code中,主要包括以下几种方式:

  1. 使用OpenRouter、阿里云等免费大模型提供商的服务
  2. 本地搭建Ollama运行免费大模型
  3. 通过ClaudeCodeRouter将多种模型统一管理
  4. 将Claude Code配置为使用ClaudeCodeRouter提供的免费模型

这种方式不仅可以节省API调用费用,还可以根据需求选择不同的模型,提高开发效率。随着开源大模型的不断发展,免费模型的性能和功能也在不断提升,为开发者提供了更多的选择。

建议开发者根据自己的需求和使用场景,选择合适的免费模型接入方式。对于个人学习和小型项目,本地搭建Ollama是一个不错的选择;对于需要更高性能的场景,可以考虑使用OpenRouter等平台提供的免费模型;而对于需要管理多个模型的团队,可以使用ClaudeCodeRouter实现统一管理。

标记本节教程为已读

记录您的学习进度,方便后续查看。