版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/liushilejimo/article/details/145873809
版权
需要的步骤如下:
1、访问 https://github.com/likelovewant/ollama-for-amd/ 下载需要的 Ollama版本 如 v0.5.9 版本
这里有段这样的描述
This release OllamaSetup.exe build with ROCm6.1.2 hipsdk 6.1.2, make sure to replace the libs with v0.6.1.2
先安装下载的Ollama v0.5.9 软件
2、下载指定的 AMD HIP SDK 要下载对应的版本 https://www.amd.com/en/developer/resources/rocm-hub/hip-sdk.html 下载 6.1.2版本 进行默认安装即可
为什么下载这个,第一步中的描述 This release OllamaSetup.exe build with ROCm6.1.2 hipsdk 6.1.2, make sure to replace the libs with v0.6.1.2 需要下载 hipsdk 6.1.2
3、下载ROCm6.1.2 在网址 https://github.com/likelovewant/ROCmLibs-for-gfx1103-AMD780M-APU/releases/tag/v0.6.1.2 中找到
gfx1103 rocm gfx1103 AMD 780M phoenix V4.0 for hip sdk 6.1.2.7z 然后在网页的下载链接中去下载rocm.gfx1103.AMD.780M.phoenix.V4.0.for.hip.sdk.6.1.2.7z 这个文件,给解压得到:
library文件夹及 rocblas.dll文件
4、
在C盘中 C:\Program Files\AMD\ROCm\6.1\bin 将3中解压后的rocblas.lib文件 复制到此处覆盖原有的,在C:\Program Files\AMD\ROCm\6.1\bin\rocblas\library 将3中的library文件夹中所以文件复制到此处覆盖原有的;
5、
进入Ollama的安装位置 C:\Users\xxx\AppData\Local\Programs\Ollama\lib\ollama xxx为你的电脑账号目录 再将3中的rocblas.lib文件 复制到此处覆盖原有的,然后 进入C:\Users\xxx\AppData\Local\Programs\Ollama\lib\ollama\rocblas\library 将3中的library文件夹中所以文件复制到此处覆盖原有的
之后通过Ollama运行大模型,就会看到GPU的内存和利用率飙升,Ollama的运行日志中也会显示 using device ROCm0 (AMD Radeon 780M Graphics) 字样