Spaces:
Runtime error
Runtime error
File size: 360 Bytes
0208f35 7d8c66b 0208f35 7d8c66b 03a4afc f31f96b 7d8c66b |
1 2 3 4 5 6 7 8 9 10 11 12 |
cd ollama
OLLAMA_CUSTOM_CPU_DEFS="-DGGML_AVX=on -DGGML_AVX2=on -DGGML_F16C=on -DGGML_FMA=on" go generate ./... --verbose
go build . --verbose
go install . --verbose
cd ../llama.cpp
# LLAMA_CUDA=1 make -j llama-quantize llama-gguf-split llama-imatrix --verbose
LLAMA_CUDA=0 make -j llama-quantize --verbose
cd ..
ollama serve & sleep 5
python app.py --verbose |