Ollama 配置多并发和多模型

Linux为例

  1. 通过调用 编辑 systemd 服务systemctleditollama.service 这将打开一个编辑器。
1
vim /etc/systemd/system/ollama.service
  1. 在[Service]部分下对于每个环境变量添加一行Environment， 如下所示
1
2
3
[Service]
Environment="OLLAMA_NUM_PARALLEL=4" #并行处理请求的数量
Environment="OLLAMA_MAX_LOADED_MODELS=4" #同时加载的模型数

保存并退出。

3 . 重新加载systemd并重新启动 Olama：

1
2
sudo systemctl daemon-reload
sudo systemctl restart ollama

在restart ollama前一定要调用daemon reload， 不然不会起作用。