What is this?

ABEJAによるQwen2.5-32B-Instructの日本語継続事前学習モデル、ABEJA-Qwen2.5-32b-Japanese-v0.1をGGUFフォーマットに変換したものです。

imatrix dataset

日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。
また、CUDA版llama.cppがbfloat16に対応したため、imatrixの算出は本来の数値精度であるBF16のモデルを使用して行いました。

Environment

Windows版llama.cpp-b4514およびllama.cpp-b4524同時リリースのconvert-hf-to-gguf.pyを使用して量子化作業を実施しました。

License

Apache 2.0

Developer

Alibaba Cloud & ABEJA

Downloads last month
99
GGUF
Model size
32.8B params
Architecture
qwen2

4-bit

16-bit

Inference Providers NEW
This model is not currently available via any of the supported third-party Inference Providers, and HF Inference API was unable to determine this model's library.