Ollama num_gpu参数与性能关系测试

测试数据

/set parameter num_gpu 0

total duration:       6m29.5385275s
load duration:        10.0239361s
prompt eval count:    19501 token(s)
prompt eval duration: 4m34.722615999s
prompt eval rate:     70.98 tokens/s
eval count:           934 token(s)
eval duration:        1m44.736578s
eval rate:            8.92 tokens/s

====================================================================================

/set parameter num_gpu 10

C:\Users\long>ollama ps
NAME          ID              SIZE     PROCESSOR          CONTEXT    UNTIL
gemma4:26b    5571076f3d70    18 GB    67%/33% CPU/GPU    32768      4 minutes from now

total duration:       4m9.4317904s
load duration:        8.9584398s
prompt eval count:    20487 token(s)
prompt eval duration: 1m57.847047s
prompt eval rate:     173.84 tokens/s
eval count:           1316 token(s)
eval duration:        2m2.572284s
eval rate:            10.74 tokens/s

====================================================================================

/set