当前位置: 首页 > news >正文

Ollama 运行 Cohere 的 command-r 模型

Ollama 运行 Cohere 的 command-r 模型

  • 0. 引言
  • 1. 安装 MSYS2
  • 2. 安装 Golang
  • 3. Build Ollama
  • 4. 运行 command-r

在这里插入图片描述

0. 引言

Command-R

Command-R 是一种大型语言模型,针对对话交互和长上下文任务进行了优化。它针对的是“可扩展”类别的模型,这些模型在高性能和高精度之间取得平衡,使公司能够超越概念验证,进入生产阶段。Command-R 在检索增强生成 (RAG) 和工具使用任务方面拥有高精度、低延迟和高吞吐量、128k 长上下文以及跨 10 种关键语言的强大功能。

独特的 Command-R 模型功能
Command-R 已经接受过多种语言的大量不同文本语料库的训练,可以执行各种不同的文本生成任务。此外,Command-R 经过训练,在业务用例的一些最关键功能方面尤其出色。

多语言能力
我们希望 Command-R 能够为尽可能多的人、组织和市场提供服务,因此新的 Command-R 能够以相当高的准确性以多种语言进行交互。

该模型经过优化,可在以下语言中表现良好:英语、法语、西班牙语、意大利语、德语、巴西葡萄牙语、日语、韩语、简体中文和阿拉伯语。

此外,还包括以下 13 种语言的预训练数据:俄语、波兰语、土耳其语、越南语、荷兰语、捷克语、印度尼西亚语、乌克兰语、罗马尼亚语、希腊语、印地语、希伯来语、波斯语。

该模型已经过训练,可以用用户的语言进行响应。

在这里插入图片描述

1. 安装 MSYS2

MSYS2 是工具和库的集合,为您提供了一个易于使用的环境来构建、安装和运行本机 Windows 软件。

它由名为 mintty、bash 的命令行终端、git 和 subversion 等版本控制系统、tar 和 awk 等工具,甚至 autotools 等构建系统组成,所有这些都基于 Cygwin 的修改版本。尽管其中一些核心部分基于 Cygwin,但 MSYS2 的主要重点是为本机 Windows 软件提供构建环境,并且使用 Cygwin 的部分保持在最低限度。 MSYS2 为 GCC、mingw-w64、CPython、CMake、Meson、OpenSSL、FFmpeg、Rust、Ruby 等提供最新的本机构建。

为了提供软件包的轻松安装和保持更新的方法,它提供了一个名为 Pacman 的软件包管理系统,Arch Linux 用户应该熟悉该系统。它带来了许多强大的功能,例如依赖关系解析和简单的完整系统升级,以及直接且可重复的包构建。我们的软件包存储库包含 3000 多个可供安装的预构建软件包。

访问 https://www.msys2.org/,参考 Installation 进行安装。

2. 安装 Golang

运行下面命令安装 Golang,你可以访问 Golang Releases 下载你喜欢的版本,

wget https://go.dev/dl/go1.22.1.linux-amd64.tar.gz -O go.tar.gz
sudo tar -xzvf go.tar.gz -C /usr/local
echo 'export PATH=$HOME/go/bin:/usr/local/go/bin:$PATH' >> ~/.bashrc
source ~/.bashrc

3. Build Ollama

$env:CGO_ENABLED="1"
# git clone https://github.com/ollama/ollama ollama
git clone https://github.com/acanis/ollama.git; cd ollama
cd ollama
gh pr checkout 3190
go generate ./...
go build .

4. 运行 command-r

ollama run cohereforai:c4ai-command-r-v01-Q8_0

在这里插入图片描述

refer: https://github.com/ollama/ollama/blob/main/docs/development.md

完成!

http://www.lryc.cn/news/324366.html

相关文章:

  • 2024年C语言最新经典面试题汇总(11-20)
  • arm linux应用程序crash分析一般方法
  • Web安全防护技术解决方案
  • 流畅的 Python 第二版(GPT 重译)(十一)
  • Blender 3D建模要点
  • 网络安全实训Day8
  • GB28181 —— 5、C++编写GB28181设备端,完成将USB摄像头视频实时转发至GB28181服务并可播放(附源码)
  • Git工具的详细使用
  • 【prometheus-operator】k8s监控redis
  • 外包干了4年,技术退步明显.......
  • xbackup 备份MySQL数据库脚本
  • npm常用命令详解
  • IPV6协议之RIPNG
  • JVM垃圾收集器你会选择吗?
  • 游戏防沉迷系统相关内容
  • 每日OJ题_牛客_JD1 年终奖(动态规划)
  • 深度学习 tablent表格识别实践记录
  • 深度学习 线性神经网络(线性回归 从零开始实现)
  • HBase在表操作--显示中文
  • 基于BusyBox的imx6ull移植sqlite3到ARM板子上
  • 连续子数组的最大和
  • Photoshop 工具使用详解(全集 · 2024版)
  • C++函数返回机制,返回类型
  • [linux] Key is stored in legacy trusted.gpg keyring
  • 阿里云部署OneApi
  • MapReduce学习问题记录
  • Elasticsearch优化
  • 【Redis知识点总结】(六)——主从同步、哨兵模式、集群
  • Java面试题:设计一个线程安全的单例模式,并解释其内存占用和垃圾回收机制;使用生产者消费者模式实现一个并发安全的队列;设计一个支持高并发的分布式锁
  • 【硬件设计】以立创EDA举例——持续更新