DHOM-Uni/FAQ-Ai-Assistant-V1

CrossEncoder based on MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs

This is a Cross Encoder model finetuned from MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.

Model Details

Model Description

• Model Type: Cross Encoder
• Base model: MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs
• Maximum Sequence Length: 512 tokens
• Number of Output Labels: 1 label

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Cross Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Cross Encoders on Hugging Face

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("cross_encoder_model_id")
# Get scores for pairs of texts
pairs = [
    ['قانون 2025 ضد التمييز في الأمور المرتبطة بالحمل، لأي شكل؟', 'لا، القانون بيمنع تمامًا إن صاحب العمل يعاقب الضحية اللي اشتكت من تحرش أو إساءة. ولو حصل كده، الضحية ليها حق تشتكي وتاخد تعويض وتحمي نفسها قانونيًا.'],
    ['لو حصلت على حكم في قضية تعويض لأنه القانون حددش سقف التعويض؟', 'أيوه، القانون ماحطش حد أقصى للتعويض عن الفصل التعسفي. المحكمة هي اللي بتحدد المبلغ على حسب الضرر اللي حصل للعامل، وبتراعي عدد سنين الخدمة وظروف الفصل.'],
    ['إذا حصل انتهاك للحقوق في مكان الشغل، نقدر نشتكي فين؟ (وزارة القوى العاملة أو المحكمة)', 'المكافأة هي مبلغ ثابت بياخده العامل عن السنين اللي اشتغلها. أما التعويض، فهو مبلغ إضافي بيتدفع لو حصلت له مشكلة زي فصل تعسفي أو إصابة. الاتنين مختلفين في السبب وطريقة الحساب.'],
    ['في أيام محددة السلطات بتتيح فيها راحة (جمعة مثلا)، ساعات الراحة دي بتنحسب ضمن أسبوع شغل؟', 'أيوه ممكن، العامل يقدر يشتغل تاني بعد ما يطلع معاش، بس لازم يعرف إن المعاش ممكن يقل لو دخله الجديد كبير أو لو كان بيشتغل في وظيفة بتتعارض مع شروط المعاش.'],
    ['ممنوع تشغيل القصر ليلا أو في أعمال خطيرة، القانون قال إيه؟', 'القانون بيمنع تشغيل الأطفال القُصّر في الأعمال الخطيرة أو أثناء الليل، يعني ممنوع يشتغل بعد الساعة 7 مساءً. كمان في قائمة بالأعمال اللي خطر عليهم يشتغلوا فيها، زي البناء أو المواد الكيميائية.'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# Or rank different texts based on similarity to a single text
ranks = model.rank(
    'قانون 2025 ضد التمييز في الأمور المرتبطة بالحمل، لأي شكل؟',
    [
        'لا، القانون بيمنع تمامًا إن صاحب العمل يعاقب الضحية اللي اشتكت من تحرش أو إساءة. ولو حصل كده، الضحية ليها حق تشتكي وتاخد تعويض وتحمي نفسها قانونيًا.',
        'أيوه، القانون ماحطش حد أقصى للتعويض عن الفصل التعسفي. المحكمة هي اللي بتحدد المبلغ على حسب الضرر اللي حصل للعامل، وبتراعي عدد سنين الخدمة وظروف الفصل.',
        'المكافأة هي مبلغ ثابت بياخده العامل عن السنين اللي اشتغلها. أما التعويض، فهو مبلغ إضافي بيتدفع لو حصلت له مشكلة زي فصل تعسفي أو إصابة. الاتنين مختلفين في السبب وطريقة الحساب.',
        'أيوه ممكن، العامل يقدر يشتغل تاني بعد ما يطلع معاش، بس لازم يعرف إن المعاش ممكن يقل لو دخله الجديد كبير أو لو كان بيشتغل في وظيفة بتتعارض مع شروط المعاش.',
        'القانون بيمنع تشغيل الأطفال القُصّر في الأعمال الخطيرة أو أثناء الليل، يعني ممنوع يشتغل بعد الساعة 7 مساءً. كمان في قائمة بالأعمال اللي خطر عليهم يشتغلوا فيها، زي البناء أو المواد الكيميائية.',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

Training Details

Training Dataset

Unnamed Dataset

• Size: 4,800 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	min: 28 characters mean: 58.64 characters max: 95 characters	min: 16 characters mean: 141.03 characters max: 399 characters	min: 0.0 mean: 0.24 max: 1.0

• Samples:

  sentence_0	sentence_1	label
  قانون 2025 ضد التمييز في الأمور المرتبطة بالحمل، لأي شكل؟	لا، القانون بيمنع تمامًا إن صاحب العمل يعاقب الضحية اللي اشتكت من تحرش أو إساءة. ولو حصل كده، الضحية ليها حق تشتكي وتاخد تعويض وتحمي نفسها قانونيًا.	0.0
  لو حصلت على حكم في قضية تعويض لأنه القانون حددش سقف التعويض؟	أيوه، القانون ماحطش حد أقصى للتعويض عن الفصل التعسفي. المحكمة هي اللي بتحدد المبلغ على حسب الضرر اللي حصل للعامل، وبتراعي عدد سنين الخدمة وظروف الفصل.	1.0
  إذا حصل انتهاك للحقوق في مكان الشغل، نقدر نشتكي فين؟ (وزارة القوى العاملة أو المحكمة)	المكافأة هي مبلغ ثابت بياخده العامل عن السنين اللي اشتغلها. أما التعويض، فهو مبلغ إضافي بيتدفع لو حصلت له مشكلة زي فصل تعسفي أو إصابة. الاتنين مختلفين في السبب وطريقة الحساب.	0.0

• Loss: BinaryCrossEntropyLoss with these parameters:

  {
      "activation_fn": "torch.nn.modules.linear.Identity",
      "pos_weight": null
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 10
• disable_tqdm: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: True
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss
1.6667	500	0.4158
3.3333	1000	0.1363
5.0	1500	0.055
6.6667	2000	0.0393
8.3333	2500	0.0353
10.0	3000	0.0286

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 4.1.0
• Transformers: 4.53.2
• PyTorch: 2.6.0+cu124
• Accelerate: 1.8.1
• Datasets: 2.14.4
• Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}