存档

2024年8月 的存档

Ollama 使用第三方模型

2024年8月1日 1 条评论

llama3 确实不错,但是大家都说其对中文支持的不够好,所以网上有人基于 llama3 进行了微调,并提供了下载地址:https://huggingface.co/zhouzr/Llama3-8B-Chinese-Chat-GGUF/tree/main

大家根据自己的机器性能按需下载,比如 q4_k_m 什么的,简单地讲,体积越大对硬件的要求越高。

再下载回来后,要如何导入,以前不是太了解,而且官网又是英文的说明。

幸运地是,有找到一个中文示例。

首先,我们可以打开命令行,看看官方的 llama3,输入命令

ollama show --modelfile llama3

屏幕上会打印一堆的信息,我们给拷贝出关键的数据如下:

FROM C:\Users\Administrator\.ollama\models\blobs\sha256-00e1317cbf74d901080d7100f57580ba8dd8de57203072dc6f668324ba545f29
TEMPLATE "{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"
PARAMETER stop <|start_header_id|>
PARAMETER stop <|end_header_id|>
PARAMETER stop <|eot_id|>
PARAMETER stop <|reserved_special_token

需要提醒的是,第一行里需要修改为你下载的模型的实际路径,不要搞忘记了。然后保存这个 modelfile。

第二步呢,就是把这个 modelfile 给导入到 ollama 里,运行下面的命令:

ollama create llama3-Chinese:8B -f Modelfile

还是一样的,修改上面的模型名字,以及保存的 modelfile 实际路径。

不出意外的话,就会显示成功字样。

第三步,我们来再次确认下,是否导入成功了。输入下面的命令:

ollama list

如果看到了刚才的模型名称,就表示 OK 了。

正所谓“会者不难”,一看就非常简单。

唯一不太爽的就是,这些模型都太占磁盘空间了。期待 P 级存储早日白菜价。

分类: AI, 日常 标签: