SentenceTransformer based on vinai/phobert-base-v2

This is a sentence-transformers model finetuned from vinai/phobert-base-v2 on the vi_nli-healthcare-supervised dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: vinai/phobert-base-v2
Maximum Sequence Length: 128 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- vi_nli-healthcare-supervised
Language: vi

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Phương_pháp điều_trị tự_nhiên số 5 : Châm_cứu',
    'Châm_cứu là một hình_thức y_học cổ_truyền của Trung_Quốc . Các kim rất mỏng được đưa vào da của bạn ở các điểm khác nhau trên_cơ_thể . Nó được sử_dụng để điều_trị nhiều tình_trạng khác nhau . Một bài báo được xuất_bản trong Cơ_sở dữ_liệu Cochrane về các đánh_giá có hệ_thống cho thấy nó có_thể giúp điều_trị chứng đau cơ xơ_hóa . Các tác_giả đã đánh_giá 9 nghiên_cứu với tổng_số 395 người tham_gia . Họ đã tìm ra một_số bằng_chứng cho thấy châm_cứu có_thể giúp cải_thiện tình_trạng đau và cứng khớp .',
    'Những lợi_ích của châm_cứu đối_với sức_khoẻ An Hoà Khang Những lợi_ích của châm_cứu đối_với sức_khoẻ Mặc_dù lão_hoá là một quá_trình_tự_nhiên của cơ_thể nhưng châm_cứu có_thể giúp làm chậm quá_trình này và giảm hiện_tượng lão_hoá hiệu_quả . Châm_cứu_giúp làm_đẹp da bằng cách tăng_cường lưu_thông máu đến các tế_bào da . Nó cũng giúp làm giảm nếp nhăn , đốm đồi_mồi và các dấu_hiệu lão_hoá khác . Đẩy_lùi viêm họng Đau họng có_thể là do bạn đã bị nhiễm_trùng , dị_ứng hoặc do các chất kích_thích . Việc châm_cứu_giúp tăng_cường lưu_thông máu , từ đó cải_thiện hệ miễn_dịch và khắc_phục các vấn_đề về hô_hấp hiệu_quả . Châm_cứu làm tăng lưu_lượng máu đến tử_cung , giúp thư giãn các cơ và kích_thích giải_phóng endorphin trong não để bạn quên đi cảm_giác khó_chịu và đau_đớn trong những ngày " đèn_đỏ " . Nếu muốn có đời_sống tình_dục tốt , bạn cần có sức_khoẻ tốt về cả_thể_chất lẫn tinh_thần và không bị rối_loạn tình_dục . Châm_cứu có_thể cải_thiện sức_khoẻ thể_chất và tinh_thần , từ đó giúp bạn có đời_sống tình_dục tốt_đẹp . Châm_cứu còn có_thể giúp điều_trị các chứng rối_loạn tình_dục như rối_loạn cương dương , xuất_tinh sớm ... Châm_cứu cũng được xem là một phương_pháp điều_trị hen_suyễn rất hiệu_quả . Các nghiên_cứu đã chỉ ra rằng , khoảng 70 bệnh_nhân bị hen_suyễn đã giảm bớt các triệu_chứng của bệnh sau khi điều_trị bằng cách châm_cứu . Đối_phó với hội_chứng ống cổ_tay Hội_chứng ống cổ_tay hay còn gọi là hội_chứng đường_hầm cổ_tay , hội_chứng chèn_ép thần_kinh giữa . Hội_chứng này xảy ra khi dây thần_kinh hoặc dây_chằng trong ống cổ_tay bị kích_thích do chấn_thương . Các biểu_hiện lâm_sàng của hội_chứng ống cổ_tay là ngứa ran hoặc tê ở lòng bàn_tay và các ngón tay , đặc_biệt là ngón_cái và ngón_giữa . Châm_cứu là một phương_pháp điều_trị hội_chứng ống cổ_tay rất hiệu_quả thay_vì bạn phải tiến_hành phẫu_thuật .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

vi_nli-healthcare-supervised

Dataset: vi_nli-healthcare-supervised at 3aadc4d
Size: 1,032,889 training samples
Columns: anchor, positive, and negative

Approximate statistics based on the first 1000 samples:

	anchor	positive	negative
type	string	string	string
details	min: 3 tokens mean: 10.1 tokens max: 30 tokens	min: 2 tokens mean: 118.68 tokens max: 128 tokens	min: 20 tokens mean: 118.11 tokens max: 128 tokens

Samples:

anchor	positive	negative
`Triệu_chứng của u sợi thần_kinh hạ_thanh môn`	Bệnh có_thể gặp ở từ 2 đến 60 tuổi nhưng hầu_hết tập_trung ở trẻ_em . Các triệu_chứng của u sợi thần_kinh hạ_thanh môn là khàn tiếng , khó thở , khò_khè , khó nuốt , khó phát_âm ... Trẻ thường được chẩn_đoán nhầm là hen phế_quản và được cho điều_trị nội_khoa nhưng không đáp_ứng với điều_trị . Tình_trạng khó thở ngày_càng tăng đặc_biệt khi nằm , trẻ phải ngồi , nằm đầu cao hoặc ngước cổ lên để thở . Trẻ thường nhập_viện với tình_trạng khó thở nặng , đôi_khi phải mở khí_quản cấp_cứu . Để chẩn_đoán bệnh , bác_sĩ sẽ nội_soi thanh_quản , chụp cắt_lớp vi_tính và sinh_thiết lấy mẫu bệnh_phẩm để thực_hiện xét_nghiệm giải_phẫu bệnh . Xét_nghiệm cho thấy là các tế_bào hình_thoi với nhân gợn sóng , collagen và những sợi thần_kinh trong đó . Ngoài_ra , có_thể xét_nghiệm_hóa mô miễn_dịch dương_tính với S100 để chẩn_đoán u sợi thần_kinh hạ_thanh môn .	`Triệu_chứng ung_thư thanh_quản`
`Quy_trình chụp cắt_lớp vi_tính hốc mắt axial và coronal có tiêm thuốc cản_quang`	Khi người gặp chấn_thương vùng hốc mắt , bác_sĩ sẽ có chỉ_định chụp cắt_lớp vi_tính Chỉ_định : ● Chấn_thương vùng hốc mắt . ● Viêm , nhiễm_trùng như viêm dây thần_kinh thị_giác ... ● Nghi_ngờ có tổn_thương mạch_máu , thần_kinh , khối_u trong vùng hốc mắt . ● Chỉ_định theo yêu_cầu chuyên_môn của bác_sĩ điều_trị . Chống chỉ_định : ● Chống chỉ_định tương_đối : Phụ_nữ mang thai , trẻ nhỏ . Phụ_nữ mang thai nếu chụp phải dùng áo chì để che vùng bụng nếu chụp . ● Chống chỉ_định tuyệt_đối trong các trường_hợp có chống chỉ_định với thuốc đối quang như : Bệnh_nhân mắc bệnh suy thận , suy gan , suy tim nặng , tiền_sử dị_ứng với thuốc cản_quang , hen phế_quản hay cường_giáp_trạng chưa điều_trị ổn_định ... ● Trẻ nhỏ có_thể không hợp_tác trong quá_trình chụp : Xử_trí bằng cách có_thể chụp lúc trẻ ngủ , dùng thuốc an_thần hoặc một_số trường_hợp phải gây_mê . ● Người_bệnh không_thể ngửa cổ được khi chụp lớp cắt đứng ngang ( coronal ) , có_thể tái_tạo_hình_ảnh từ hướng cắt ngang đối_với các máy chụp...	Hệ_thống chụp cắt_lớp võng_mạc hỗ_trợ chẩn_đoán các bệnh_lý chuyên_sâu ( VO H ) - Bệnh_viện Mắt TPHCM vừa được trang_bị Hệ_thống chụp cắt_lớp võng_mạc CIRRUS HD - OCT 5000 ( OCT - A ) nhằm hỗ_trợ chẩn_đoán các bệnh_lý chuyên_sâu về mắt . Đây là máy chẩn_đoán hình_ảnh không xâm_lấn có_thể chụp được những vi_mạch_máu của võng_mạc , hắc mạc , được xem là thành_tựu công_nghệ sáng_tạo nổi_bật mới được Cục quản_lý thuốc và thực_phẩm Mỹ công_nhận . Máy OCT - A sử_dụng kỹ_thuật laser quét để ghi_nhận hình_ảnh các mạch_máu ở võng_mạc là lớp thần_kinh của mắt . Xét_nghiệm thực_hiện nhanh chỉ trong vòng 15 giây , người_bệnh chỉ cần nhìn vào tia hướng_dẫn trong máy như đo kính thông_thường . Ngoài_ra tia laser quét ở phổ hồng_ngoại có năng_lượng thấp không gây bất_cứ tổn_thương nào cho mắt của người_bệnh . Trước_đây để ghi_nhận được hình_ảnh các mạch_máu tương_tự thì phải tiêm thuốc cản_quang vào tĩnh_mạch người_bệnh và điều này tiềm_ẩn rủi_ro do thuốc gây ra . Người_bệnh cũng phải chịu hàng chục ...
`Thế_nào là hở van tim 3 lá ?`	Van 3 lá nằm giữa tâm_nhĩ phải và tâm_thất phải của tim , có tác_dụng cho máu lưu_thông theo một_chiều từ tâm_nhĩ xuống tâm_thất . Van 3 lá sẽ mở ra khi tâm_nhĩ co lại để bơm máu vào tâm_thất phải , van ba_lá đóng lại khi tâm_thất co tống máu vào động_mạch phổi , để có_thể ngăn dòng máu chảy ngược về tâm_nhĩ . Hở van tim 3 lá là tình_trạng van không đóng kín hoàn_toàn khi tâm_thất phải co lại , để bơm máu lên động_mạch phổi , khiến cho một phần máu bị trào ngược trở_lại thất phải . Khi có một lượng máu chảy ngược trở_lại tâm_nhĩ thì tâm_nhĩ phải cần phải hoạt_động nhiều hơn và trở_nên to ra , lâu dần gây suy chức_năng tim phải và gây ra nhiều biến_chứng như suy tim , rung nhĩ ... Hở van ba_lá tùy theo mức_độ mà được chia thành 4 mức_độ khác nhau : Hở van tim tim 3 lá 1 / 4 : Mức_độ hở van ba_lá nhẹ nhất , thông_thường còn được gọi là hở van sinh_lý , có_thể gặp ở nhiều người khỏe mạnh bình_thường . Hở van 2 lá 2 / 4 : Mức_độ hở van trung_bình và cần tiến_hành điều_trị khi thấy có các t...	Trang_chủ Bệnh tim_mạch Bệnh_lý về van tim Hở van tim 3 lá Hở van tim 3 lá là gì ? 19 / 04 / 2016 534 luợt xem Hở van tim 3 lá là gì , hậu_quả hở van tim 3 lá như thế_nào và hở van tim 3 lá cần lưu_ý những gì là những vấn_đề mọi người cần trang_bị cho mình những kiến_thức cần_thiết để biết cách đối_phó với căn_bệnh nguy_hiểm này . Van tim 3 lá bị hở cần được phát_hiện sớm và điều_trị hiệu_quả . Khi hai tâm_thất bóp ( thời_kỳ tâm thu ) thì van 2 lá và van 3 lá đóng kín , đồng_thời van động_mạch chủ và van động_mạch phổi mở để đẩy máu lên phổi và đưa máu giàu ôxy tới nuôi các tế_bào . Khi tâm_nhĩ nghỉ ( thời_kỳ tâm trương ) , 2 van động_mạch chủ và phổi đóng kín để máu không chảy ngược_lại tâm_thất được . Chúng_ta có_thể coi các van tim là những cánh cửa , khi mở ra cho máu chảy một_chiều , khi đóng lại giữ máu không chảy ngược_lại được . Van tim 3 lá là van tim thông giữa tâm_nhĩ phải và tâm_thất phải . Nếu van 3 lá bị hở , người_ta gọi là bệnh hở van tim 3 lá . Nguyên_nhân hở van tim 3...

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 128
learning_rate: 0.0001
weight_decay: 0.1
num_train_epochs: 1
warmup_ratio: 0.1
fp16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 128
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 0.0001
weight_decay: 0.1
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs