Vikhr: модель на базе Mistral для русского языка

Введение в Vikhr: представляем Vikhr, основанную на архитектуре Mistral и предварительно обученную на 400 миллионах токенов в течение трех эпох.

Она должна быть лучше чем оригинальный мистраль на русских задачах, а вот с кодом скорее всего будут проблемы.

Бенчи

Датасет Vikhr-7b-0.1 Mistral-7B-v0.1
mmlu_ru 0.60 0.66
xwinograd 0.72 0.68
xnli 0.3812 0.3691
Downloads last month
163
Safetensors
Model size
7.31B params
Tensor type
FP16
·
Inference Providers NEW
This model is not currently available via any of the supported third-party Inference Providers, and the model is not deployed on the HF Inference API.

Model tree for Vikhrmodels/Vikhr-7b-0.1

Quantizations
3 models

Dataset used to train Vikhrmodels/Vikhr-7b-0.1

Spaces using Vikhrmodels/Vikhr-7b-0.1 4