ollama 支持VRAM 自动适配了

ollama 从0.15.5 开始支持VRAM 自动适应了，但是也是因为此参数可能会造成部分模型运行有问题，因为过大的上下文会造成模型可能启动有问题，比如我在测试glm-ocr 模式的时候

解决方法

可以通过自定义模型配置上下文参数，临时规避此问题，当然chat api 也支持动态参数，简单的方法是自定义一个省事

参考配置

FROM glm-ocr
PARAMETER num_ctx 32768

说明

以上是在运行中的一些实践，大家可以解决实际调整

参考资料

https://github.com/ollama/ollama/releases