unclemusclez commited on
Commit
7d8c66b
·
verified ·
1 Parent(s): e65a602

Update start.sh

Browse files
Files changed (1) hide show
  1. start.sh +6 -5
start.sh CHANGED
@@ -1,11 +1,12 @@
1
  cd ollama
2
- OLLAMA_CUSTOM_CPU_DEFS="-DGGML_AVX=on -DGGML_AVX2=on -DGGML_F16C=on -DGGML_FMA=on" go generate ./...
3
- go build .
4
- go install .
5
 
6
  cd ../llama.cpp
7
- LLAMA_CUDA=1 make -j llama-quantize llama-gguf-split llama-imatrix
 
8
 
9
  cd ..
10
  ollama serve & sleep 5
11
- python app.py
 
1
  cd ollama
2
+ OLLAMA_CUSTOM_CPU_DEFS="-DGGML_AVX=on -DGGML_AVX2=on -DGGML_F16C=on -DGGML_FMA=on" go generate ./... --verbose
3
+ go build . --verbose
4
+ go install . --verbose
5
 
6
  cd ../llama.cpp
7
+ # LLAMA_CUDA=1 make -j llama-quantize llama-gguf-split llama-imatrix --verbose
8
+ LLAMA_CUDA=0 make -j llama-quantize --verbose
9
 
10
  cd ..
11
  ollama serve & sleep 5
12
+ python app.py --verbose