Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup
Paper
•
2101.06983
•
Published
•
1
This is a sentence-transformers model finetuned from keepitreal/vietnamese-sbert on the train_bkai_2024 dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
SentenceTransformer(
(0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
'Tiêu_chí để được công_nhận là cơ_sở công_nghiệp quốc_phòng là gì ?',
'Cơ_sở công_nghiệp quốc_phòng \n 1 . Tiêu_chí để được công_nhận là cơ_sở công_nghiệp quốc_phòng \n a ) Được cơ_quan nhà_nước có thẩm_quyền quyết_định thành_lập theo quy_định của pháp_luật ; \n b ) Đủ điều_kiện , thủ_tục tham_gia hoạt_động công_nghiệp quốc_phòng theo quyết_định của Thủ_tướng Chính_phủ ; \n c ) Được Nhà_nước đặt_hàng hoặc giao kế_hoạch để sản_xuất , cung_ứng một hoặc một_số sản_phẩm , chi_tiết sản_phẩm , dịch_vụ phục_vụ quốc_phòng , an_ninh . \n 2 . Bộ Quốc_phòng chủ_trì , phối_hợp với Bộ Công_Thương và Bộ , ngành liên_quan lập danh_sách các cơ_sở công_nghiệp quốc_phòng trình Thủ_tướng Chính_phủ_phê_duyệt trên cơ_sở tiêu_chí được quy_định tại khoản 1 Điều này . \n 3 . Hàng năm , Bộ Quốc_phòng chủ_trì , phối_hợp với các Bộ , ngành , cơ_quan liên_quan xác_định trình Thủ_tướng Chính_phủ quyết_định việc sửa_đổi , bổ_sung Danh_sách cơ_sở công_nghiệp quốc_phòng .',
'Điều_kiện tổ_chức đánh_giá , nghiệm_thu cấp Bộ Quốc_phòng \n 1 . Dự_án đầu_tư được Hội_đồng Khoa_học và Công_nghệ cấp Cơ_sở đánh_giá ở mức “ Đạt ” và có đủ hồ_sơ quy_định tại Điều 10 của Thông_tư này . \n 2 . Tờ_trình của cơ_quan , đơn_vị trực_thuộc Bộ Quốc_phòng đề_nghị đánh_giá , nghiệm_thu cấp Bộ Quốc_phòng ( theo Mẫu_số 10 . PL1 tại Phụ_lục I ban_hành kèm theo Thông_tư này ) .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
anchor, positive, negative0, negative1, negative2, negative3, negative4, negative5, and negative6| anchor | positive | negative0 | negative1 | negative2 | negative3 | negative4 | negative5 | negative6 | |
|---|---|---|---|---|---|---|---|---|---|
| type | string | string | string | string | string | string | string | string | string |
| details |
|
|
|
|
|
|
|
|
|
| anchor | positive | negative0 | negative1 | negative2 | negative3 | negative4 | negative5 | negative6 |
|---|---|---|---|---|---|---|---|---|
Người học ngành quản_lý khai_thác công_trình thủy_lợi trình_độ cao_đẳng phải có khả_năng học_tập và nâng cao_trình_độ như thế_nào ? |
Khả_năng học_tập , nâng cao_trình_độ |
Giới_thiệu chung về ngành , nghề |
Giới_thiệu chung về ngành , nghề |
1 . Đào_tạo trình_độ trung_cấp yêu_cầu người học sau khi tốt_nghiệp phải có năng_lực thực_hiện được một_số công_việc có tính phức_tạp của ngành hoặc nghề ; có khả_năng ứng_dụng kỹ_thuật , công_nghệ vào công_việc , có khả_năng làm_việc độc_lập hoặc làm_việc theo nhóm , cụ_thể : |
Giới_thiệu chung về ngành , nghề |
Giới_thiệu chung về ngành , nghề |
Tiêu_chuẩn về trình_độ |
Kỹ_năng |
Nội_dung lồng_ghép vấn_đề bình_đẳng giới trong xây_dựng văn_bản quy_phạm_pháp_luật được quy_định thế_nào ? |
Nội_dung lồng_ghép vấn_đề bình_đẳng giới trong xây_dựng văn_bản quy_phạm_pháp_luật |
Điều 3 . |
1 . Cơ_quan , tổ_chức , cá_nhân đề_xuất xây_dựng văn_bản có trách_nhiệm làm rõ sự cần_thiết phải lồng_ghép vấn_đề bình_đẳng giới trong xây_dựng văn_bản quy_phạm_pháp_luật thông_qua : |
Thông_tư này quy_định về nguyên_tắc lồng_ghép vấn_đề bình_đẳng giới trong xây_dựng văn_bản quy_phạm_pháp_luật ; quy_trình lồng_ghép vấn_đề bình_đẳng giới trong xây_dựng văn_bản quy_phạm_pháp_luật và trách_nhiệm của cơ_quan chủ_trì soạn_thảo , cơ_quan thẩm_định , cơ_quan thẩm_tra trong việc thực_hiện lồng_ghép vấn_đề bình_đẳng giới trong quy_trình xây_dựng văn_bản quy_phạm_pháp_luật . |
Khoản 2 . Xây_dựng , soạn_thảo văn_bản quy_phạm_pháp_luật |
Nội_dung thẩm_định về bình_đẳng giới đối_với dự_thảo văn_bản được thực_hiện theo quy_định tại Điều 5 , Điều 6 , Điều 7 , Điều 8 và Điều 9 của Thông_tư này và bảo_đảm các nội_dung sau đây : |
Khoản 3 . Xây_dựng , soạn_thảo văn_bản quy_phạm_pháp_luật |
Nội_dung thẩm_tra_vấn_đề bình_đẳng giới trong dự_thảo văn_bản gồm các nội_dung sau đây : |
Sản_phẩm phần_mềm có được hưởng ưu_đãi về thời_gian miễn thuế , giảm thuế hay không ? Nếu được thì trong vòng bao_nhiêu năm ? |
" Điều 20 . Ưu_đãi về thời_gian miễn thuế , giảm thuế |
Mục IV. ƯU_ĐÃI THUẾ XUẤT_KHẨU , THUẾ_NHẬP_KHẨU |
Điều 1 . Phạm_vi điều_chỉnh và đối_tượng áp_dụng |
Điều 19 . Thuế_suất ưu_đãi |
g5 ) Các ví_dụ cụ_thể : Ví_dụ 1 : Năm 2010 , doanh_nghiệp thực_hiện dự_án đầu_tư mở_rộng tại địa_bàn không thuộc danh_mục địa_bàn ưu_đãi thuế . Trong kỳ tính thuế năm 2011 , dự_án phát_sinh doanh_thu và thu_nhập chịu thuế . Tính đến hết kỳ tính thuế năm 2016 , thu_nhập từ dự_án chưa được hưởng ưu_đãi thuế thu_nhập doanh_nghiệp . Trong kỳ tính thuế năm 2017 , dự_án được cấp Giấy xác_nhận ưu_đãi sản_xuất sản_phẩm công_nghiệp hỗ_trợ . Theo đó , dự_án được hưởng ưu_đãi về thuế thu_nhập doanh_nghiệp theo điều_kiện dự_án đầu_tư mở_rộng sản_xuất sản_phẩm công_nghiệp hỗ_trợ theo quy_định tại Luật số 71 / 2014 / QH13 và các văn_bản hướng_dẫn thi_hành kể từ kỳ tính thuế năm 2017 . Thời_gian ưu_đãi được hưởng được xác_định như sau : miễn thuế thu_nhập doanh_nghiệp 04 năm tính từ kỳ tính thuế năm 2017 đến năm 2020 , giảm 50 % số thuế thu_nhập doanh_nghiệp phải nộp trong 09 năm tiếp_theo tính từ kỳ tính thuế năm 2021 . Ví_dụ 2 : Năm 2010 , doanh_nghiệp thực_hiện dự_án đầu_tư mới tại địa_bàn Khu côn... |
Danh_mục nguyên_liệu , vật_tư , bán thành_phẩm phục_vụ cho việc đóng tàu mà trong nước đã sản_xuất được để làm căn_cứ thực_hiện việc miễn thuế nêu tại điểm này thực_hiện theo quy_định của Bộ Kế_hoạch và Đầu_tư . |
Khoản 1 . Nguyên_liệu , vật_tư , linh_kiện được miễn thuế_nhập_khẩu cho hoạt_động_sản_xuất sản_phẩm công_nghệ thông_tin , nội_dung số , phần_mềm đáp_ứng các tiêu_chí sau đây : |
Thời_gian ưu_đãi còn lại được xác_định như sau : thuế_suất thuế thu_nhập doanh_nghiệp 10 % trong thời_hạn 15 năm kể từ kỳ tính thuế năm 2018 ; miễn thuế thu_nhập doanh_nghiệp 02 năm kể từ kỳ tính thuế năm 2018 , giảm 50 % số thuế thu_nhập doanh_nghiệp phải nộp trong 05 năm tiếp_theo . Ví_dụ 3 : Năm 2014 , doanh_nghiệp thực_hiện dự_án đầu_tư mới tại địa_bàn có điều_kiện kinh_tế - xã_hội khó_khăn . Trong kỳ tính thuế năm 2014 , dự_án phát_sinh doanh_thu . Trong kỳ tính thuế năm 2015 , dự_án phát_sinh thu_nhập chịu thuế . Dự_án được hưởng ưu_đãi theo điều_kiện địa_bàn có điều_kiện kinh_tế - xã_hội khó_khăn , cụ_thể : thuế_suất 20 % trong thời_gian 10 năm tính từ kỳ tính thuế năm 2014 ( kể từ kỳ tính thuế 2016 áp_dụng thuế_suất 17 % ) ; miễn thuế thu_nhập doanh_nghiệp 02 năm tính từ kỳ tính thuế 2015 , giảm 50 % số thuế phải nộp trong 04 năm tiếp_theo . Tính đến hết kỳ tính thuế năm 2017 , dự_án đã hưởng ưu_đãi : số năm thuế_suất ưu_đãi 04 năm , số năm miễn thuế thu_nhập doanh_nghiệp 02 nă... |
CachedMultipleNegativesRankingLoss with these parameters:{
"scale": 20.0,
"similarity_fct": "cos_sim"
}
per_device_train_batch_size: 32gradient_accumulation_steps: 4learning_rate: 2e-05weight_decay: 0.1warmup_ratio: 0.1save_only_model: Truefp16: Truebatch_sampler: no_duplicatesoverwrite_output_dir: Falsedo_predict: Falseeval_strategy: noprediction_loss_only: Trueper_device_train_batch_size: 32per_device_eval_batch_size: 8per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 4eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 2e-05weight_decay: 0.1adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1.0num_train_epochs: 3max_steps: -1lr_scheduler_type: linearlr_scheduler_kwargs: {}warmup_ratio: 0.1warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Truerestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 42data_seed: Nonejit_mode_eval: Falseuse_ipex: Falsebf16: Falsefp16: Truefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Truedataloader_num_workers: 0dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Falseignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torchoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Falseresume_from_checkpoint: Nonehub_model_id: Nonehub_strategy: every_savehub_private_repo: Falsehub_always_push: Falsegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseinclude_for_metrics: []eval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters: auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Nonedispatch_batches: Nonesplit_batches: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: Falseneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseuse_liger_kernel: Falseeval_use_gather_object: Falseaverage_tokens_across_devices: Falseprompts: Nonebatch_sampler: no_duplicatesmulti_dataset_batch_sampler: proportional| Epoch | Step | Training Loss |
|---|---|---|
| 1.9185 | 1000 | 0.8391 |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
@misc{gao2021scaling,
title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
year={2021},
eprint={2101.06983},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
Base model
keepitreal/vietnamese-sbert