File size: 360 Bytes
0208f35
7d8c66b
 
 
0208f35
 
7d8c66b
 
03a4afc
 
f31f96b
7d8c66b
1
2
3
4
5
6
7
8
9
10
11
12
cd ollama
OLLAMA_CUSTOM_CPU_DEFS="-DGGML_AVX=on -DGGML_AVX2=on -DGGML_F16C=on -DGGML_FMA=on" go generate ./... --verbose
go build . --verbose
go install . --verbose

cd ../llama.cpp
# LLAMA_CUDA=1 make -j llama-quantize llama-gguf-split llama-imatrix --verbose
LLAMA_CUDA=0 make -j llama-quantize --verbose

cd ..
ollama serve & sleep 5
python app.py --verbose