unsloth

/

DeepSeek-R1-GGUF

like 719

Follow

Unsloth AI 2.59k

我使用在ollama中部署了IQ1_S模型，最后使用OpenAI API的端点进行推理，推理会生成许多与问题无关的回答（生成效果差），这是否是量化模型的通病？我在部署其他量化模型也发现模型会生成过多无关的回答。