Spaces:
Runtime error
Runtime error
Update start.sh
Browse files
start.sh
CHANGED
@@ -1,11 +1,12 @@
|
|
1 |
cd ollama
|
2 |
-
OLLAMA_CUSTOM_CPU_DEFS="-DGGML_AVX=on -DGGML_AVX2=on -DGGML_F16C=on -DGGML_FMA=on" go generate ./...
|
3 |
-
go build .
|
4 |
-
go install .
|
5 |
|
6 |
cd ../llama.cpp
|
7 |
-
LLAMA_CUDA=1 make -j llama-quantize llama-gguf-split llama-imatrix
|
|
|
8 |
|
9 |
cd ..
|
10 |
ollama serve & sleep 5
|
11 |
-
python app.py
|
|
|
1 |
cd ollama
|
2 |
+
OLLAMA_CUSTOM_CPU_DEFS="-DGGML_AVX=on -DGGML_AVX2=on -DGGML_F16C=on -DGGML_FMA=on" go generate ./... --verbose
|
3 |
+
go build . --verbose
|
4 |
+
go install . --verbose
|
5 |
|
6 |
cd ../llama.cpp
|
7 |
+
# LLAMA_CUDA=1 make -j llama-quantize llama-gguf-split llama-imatrix --verbose
|
8 |
+
LLAMA_CUDA=0 make -j llama-quantize --verbose
|
9 |
|
10 |
cd ..
|
11 |
ollama serve & sleep 5
|
12 |
+
python app.py --verbose
|