llama3 确实不错，但是大家都说其对中文支持的不够好，所以网上有人基于 llama3 进行了微调，并提供了下载地址：https://huggingface.co/zhouzr/Llama3-8B-Chinese-Chat-GGUF/tree/main
大家根据自己的机器性能按需下载，比如 q4_k_m 什么的，简单地讲，体积越大对硬件的要求越高。
再下载回来后，要如何导入，以前不是太了解，而且官网又是英文的说明。
幸运地是，有找到一个中文示例。
首先，我们可以打开命令行，看看官方的 llama3，输入命令
ollama show --modelfile llama3
屏幕上会打印一堆的信息，我们给拷贝出关键的数据如下：
FROM C:\Users\Administrator\.ollama\models\blobs\sha256-00e1317cbf74d901080d7100f57580ba8dd8de57203072dc6f668324ba545f29
TEMPLATE "{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>"
PARAMETER stop <|start_header_id|>
PARAMETER stop <|end_header_id|>
PARAMETER stop <|eot_id|>
PARAMETER stop <|reserved_special_token
需要提醒的是，第一行里需要修改为你下载的模型的实际路径，不要搞忘记了。然后保存这个 modelfile。
第二步呢，就是把这个 modelfile 给导入到 ollama 里，运行下面的命令：
ollama create llama3-Chinese:8B -f Modelfile
还是一样的，修改上面的模型名字，以及保存的 modelfile 实际路径。
不出意外的话，就会显示成功字样。
第三步，我们来再次确认下，是否导入成功了。输入下面的命令：
ollama list
如果看到了刚才的模型名称，就表示 OK 了。
正所谓“会者不难”，一看就非常简单。
唯一不太爽的就是，这些模型都太占磁盘空间了。期待 P 级存储早日白菜价。
在前面的文档中，我提及了在Firefly里编译后，但是无法成功加载权重文件来预测，只好转到 windows 平台上琢磨其使用，因为我有个机器是使用了英伟达的 2080Ti 的显卡，内心还是想验证看看速度到底有多快。
按照网上的说法，从这里把源码下载回来，然后配置 OpenCV和CUDNN。说到这个CUDNN的配置，是个麻烦事，好在以前已经安装了，这次没有做任何变动就可以了。
对于如何配置 OpenCV，可以参考我的另外一个帖子。
然后就可以正常地编译 x86和x64位的了，编译后就可以按照说明，去做预测了。确实速度非常的快，如我前文所述，毫秒级的，还是有钱好的，显卡牛批，节省时间。
在 Github 原文里，还提及了使用另外一种编译方式，就是微软推出的一种新的工具：vcpkg。
这个工具好在哪里呢，它会自动查找依赖项，并且下载了放到项目的目录里，以解决各种缺少配置的问题，看起来下载回来的那些包有点像绿色版的。下载好后，按照说明，运行命令，就可以开始编译了。
在我的2台电脑上都可以正确地编译，然后验证了下，使用和不使用GPU所消耗的时间差异很大。毫秒级的识别和十几秒的识别。
不过再重新编译就失败了，可能是我修改了什么东西出错。先不管了，不管如何，我现在有了可以编译成功的二进制的 dll 了，后面就可以共享给 C++ 和 C# 调用了。我看了下，python 调用还是怪麻烦的，就不考虑了。
在最后，给出一些当初参考的文档：
这里，这里，还有这里 和这里
Yolo 作为当下比较流行的物体检查AI模型之一，还是得到了大家的青睐，主要说来有几个因素：
1、检测的范围广。按照官方的说法是可以支持9000种常见的分类，并且Yolo v2覆盖了 coco 的数据集。
2、检测的准确率高。我拿实际照片跑了下，还是有意外的惊喜。
3、检测速度快。使用普通的 CPU就可以运行 Tiny YOLO 低配版的数据集，我的笔记本上大概会是12s左右。在 2080Ti 显卡上跑 Yolo v2或者 v3的版本速度都很快，毫秒级别的响应。
原本是想在树莓派上运行，所以尝试的是源码安装。如果缺少什么依赖库，自行安装。
git clone https://github.com/pjreddie/darknet
cd darknet
make
编译完成后，还需要去下载权重文件，这个就比较大了，我先后找过好几个不同的版本，好在都找齐了。
运行命令
./darknet detect cfg/yolo.cfg weights/yolo.weights data/dog.jpg
如果想试一试乞丐版本，就换成下面的参数：
./darknet detect cfg/tiny-yolo.cfg weights/tiny-yolo.weights data/dog.jpg
运行后，会在根目录下生产一张 predictions.jpg 结果图片，多次运行命令会覆盖掉先前的图片。
在我的 Firefly 上是可以成功编译成功的，但是加载权重文件预测时失败了，不知道是内存不够用还是什么情况，网上有很多类似的提问，浏览了好多，还有修改版的权重文件提供，反正我是没有成功，看起来想在树莓派上跑起来不太可行了。
有哪位同学可以跑通，麻烦告诉下我。
其实 opencv 对于 windows 平台是很友好的，先从这里下载最新版本的opencv的包，看起来是个exe，其实就是一个自解压缩包，解压缩完成后，界面就会自动消失，所以大家不要慌。
我这里就给放到了 c:\tools 目录下。
再接下来就是要添加环境变量了，在 opencv\build 目录下，有一个setup_vars_opencv4.cmd 文件，在命令行下以管理员权限执行它，就会增加一部分环境变量。
然后【我的电脑（右键）】->【属性】->【高级系统设置】->【高级（标签）】->【环境变量】->“双击”系统变量中的Path->在变量值里面添加相应的路径。
由于目录下有 vc14 和 vc15 两个目录，所以建议把这两个都给加进去，例如 C:\Tools\opencv\build\x64\vc15\bin。
还有最后一步，就是重启系统以便生效。我没有重启系统，后面编译 yolo 的时候就报错了。所以为了稳妥起见，重启下还是比较好。