start.sh

cd ollama
OLLAMA_CUSTOM_CPU_DEFS="-DGGML_AVX=on -DGGML_AVX2=on -DGGML_F16C=on -DGGML_FMA=on" go generate ./...
go build .
go install .

cd ../llama.cpp
LLAMA_CUDA=1 make -j llama-quantize llama-gguf-split llama-imatrix

cd ..
ollama serve & sleep 5
python app.py