ollama 大模型部署

发表于 更新于 分类于 阅读次数： 本文字数： 483 阅读时长 ≈ 2 分钟

记录一下用ollama和openwebui来部署几个大模型：Qwen2、LLaMa3和LLaVa

安装Ollama 及pull model

  1. 去ollama的官网下载安装ollama

  2. 更改变量：windows中添加环境变量: OLLAMA_MODELS: XXXXpath，linux需要到systemd中找到ollama的哪个文件，然后进行修改，这样ollama pull 模型的时候，就会安装到指定的路径

  3. ollama安装完成后，可以用ollama pull qwen2:7b这样来下载模型，也可以下载模型的GGUF文件，然后需要写一个配置文件，如config.txt，内容如下： 

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    FROM "path/to/llama3-8b-cn-q6/Llama3-8B-Chinese-Chat.q6_k.GGUF"

    TEMPLATE """{{- if .System }}
    <|im_start|>system {{ .System }}<|im_end|>
    {{- end }}
    <|im_start|>user
    {{ .Prompt }}<|im_end|>
    <|im_start|>assistant
    """

    SYSTEM """"""

    PARAMETER stop <|im_start|>
    PARAMETER stop <|im_end|>

这个From后面的路径需要修改，然后使用ollama create llama3-cn -f ./config.txt 导入模型，导入成功后，可以用ollama list查看，使用ollama run xxx运行，使用/exit退出

OpenWebUI

  1. 运行之前需要先安装docker

  2. 运行命令: docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main，通过Docker运行OpenWebUI，这里输入localhost:3000就能访问，如果没有看到模型，需要修改OLLAMA_HOSTS=0.0.0.0，然后重新启动ollama的服务

  3. docker的相关命令：

    • docker ps：查看正在运行的docker容器

    • docker kill container_id：杀死正在运行的docker容器

    • docker rm container_id：删除已经停止的docker容器

LLaVa及相关视觉语言模型(VLM)的微调

参考链接

  • https://www.cnblogs.com/obullxl/p/18295202/NTopic2024071001

  • https://blog.csdn.net/u010522887/article/details/140651584

  • https://liaoxuefeng.com/blogs/all/2024-05-06-llama3/index.html

  • https://www.cnblogs.com/obullxl/p/18295202/NTopic2024071001

  • https://github.com/qianniucity/ollama-doc/blob/main/ollama/docs/ollama%20%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98%E8%A7%A3%E7%AD%94.md

  • https://www.cnblogs.com/ting1/p/18358286

  • https://github.com/open-webui/open-webui

  • https://github.com/ollama/ollama/blob/main/docs/faq.md

  • https://blog.csdn.net/joeyoj/article/details/136427362

  • https://blog.csdn.net/2401_85328934/article/details/139749167 (用lobe chat代替openWebUI)

  • https://cuterwrite.top/p/ollama/ (用Continue 插件部署自己的 code copliot)

  • https://mp.weixin.qq.com/s/vt1EXVWtwm6ltZVYtB4-Tg