Ollama 发布 Python 和 JavaScript 库

Ollama Python 和 JavaScript 库的初始版本现已推出:

这两个库都可以通过几行代码将新的和现有的应用程序与 Ollama 集成,并共享 Ollama REST API 的 features 和 feel。

Ollama 是一款命令行工具,可在 macOS 和 Linux 上本地运行 Llama 2、Code Llama 和其他模型。目前适用于 macOS 和 Linux,并计划支持 Windows。

Ollama 目前支持近二十多个语言模型系列,每个模型系列都有许多可用的 "tags"。Tags是模型的变体,这些模型使用不同的微调方法以不同的规模进行训练,并以不同的级别进行量化,以便在本地良好运行。量化级别越高,模型越精确,但运行速度越慢,所需的内存也越大。

Python

JavaScript

这两个库都支持 Ollama 的全套功能。以下是 Python 中的一些示例:

Streaming

Multi-modal

Text Completion

Creating custom models

Custom client

更多示例可查看Python和JavaScript库。