Ollama 使用第三方模型
llama3 确实不错,但是大家都说其对中文支持的不够好,所以网上有人基于 llama3 进行了微调,并提供了下载地址:https://huggingface.co/zhouzr/Llama3-8B-Chinese-Chat-GGUF/tree/main
大家根据自己的机器性能按需下载,比如 q4_k_m 什么的,简单地讲,体积越大对硬件的要求越高。
再下载回来后,要如何导入,以前不是太了解,而且官网又是英文的说明。
幸运地是,有找到一个中文示例。
首先,我们可以打开命令行,看看官方的 llama3,输入命令
ollama show --modelfile llama3
屏幕上会打印一堆的信息,我们给拷贝出关键的数据如下:
FROM C:\Users\Administrator\.ollama\models\blobs\sha256-00e1317cbf74d901080d7100f57580ba8dd8de57203072dc6f668324ba545f29
TEMPLATE "{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>"
PARAMETER stop <|start_header_id|>
PARAMETER stop <|end_header_id|>
PARAMETER stop <|eot_id|>
PARAMETER stop <|reserved_special_token
需要提醒的是,第一行里需要修改为你下载的模型的实际路径,不要搞忘记了。然后保存这个 modelfile。
第二步呢,就是把这个 modelfile 给导入到 ollama 里,运行下面的命令:
ollama create llama3-Chinese:8B -f Modelfile
还是一样的,修改上面的模型名字,以及保存的 modelfile 实际路径。
不出意外的话,就会显示成功字样。
第三步,我们来再次确认下,是否导入成功了。输入下面的命令:
ollama list
如果看到了刚才的模型名称,就表示 OK 了。
正所谓“会者不难”,一看就非常简单。
唯一不太爽的就是,这些模型都太占磁盘空间了。期待 P 级存储早日白菜价。
llama3.1 对中文支持已经挺好了,我电脑上跑 llama3.1 8B/4.7GB 中文效果还可以,就是小模型的幻觉还是非常厉害。