Clinical-BR-Mistral-7B-v0.2 — GGUF Q5_K_M

Conversão para GGUF (Q5_K_M) do modelo pucpr-br/Clinical-BR-Mistral-7B-v0.2, feita pela Sciereli HDC para uso local no anot.ae, com llama.cpp. O modelo e o treinamento são do projeto MED-LLM-BR (HAILab-PUCPR e Comsentimento); esta é só a conversão de formato. Licença Apache-2.0, a mesma do original. Esta conversão não tem vínculo com os autores nem foi revisada por eles.

English: GGUF Q5_K_M conversion of pucpr-br/Clinical-BR-Mistral-7B-v0.2 for local inference with llama.cpp. Weights and training are by the MED-LLM-BR project (HAILab-PUCPR and Comsentimento); not affiliated with or reviewed by the authors. Apache-2.0.

O que mudou em relação ao original

  • Formato: safetensors (Hugging Face) → GGUF (llama.cpp).
  • Precisão: bfloat16 (16 bits por peso) → Q5_K_M (5,67 bits por peso, em média). Os pesos foram arredondados para caber em 5,1 GB em vez de 14,5 GB.
  • Nada mais: sem novo treinamento, sem ajuste fino, sem dado novo, sem mudança de tokenizador ou de arquitetura.

A quantização pode alterar levemente as respostas em relação ao original. Essa diferença não foi medida em texto clínico.

É um modelo de geração de texto (continua um texto clínico), não um assistente de conversa. Dados de treino, método e limitações: ver o cartão original.

Arquivo

Arquivo Tamanho SHA-256
Clinical-BR-Mistral-7B-v0.2.Q5_K_M.gguf 5.131.409.888 bytes ff38740827d86b5177925473dbd5b61eea88f6b11c2f97420bae3fb71ba74f22

Proveniência

  • Origem: pucpr-br/Clinical-BR-Mistral-7B-v0.2, revisão e4e5089b3306aa1f7b0b4dcc3307145698bb1499 (base: mistralai/Mistral-7B-v0.3). Os SHA-256 dos dois arquivos baixados conferem com os publicados pelo Hugging Face nessa revisão:
    • model-00001-of-00002.safetensors: 7cba4f8c3a5ae036e09dd2c4e04f43f21b927dfa524a5525fd90ad96998bebea
    • model-00002-of-00002.safetensors: adb742eb5085e0adc7981eb8613e7688125f2237ece9ef92b919a938b3fd167d
  • Ferramenta: llama.cpp v0.7.0 (commit 620d2225cc436ab0b001e3200e590e3b286ef9ab).
    • convert_hf_to_gguf.py --outtype f16;
    • llama-quantize … Q5_K_M, sem matriz de importância.
  • Ambiente de conversão: Python 3.12, torch 2.2.2 e numpy 1.26.4.
    • O requirements do llama.cpp pede torch 2.11, mas por causa de outro modelo (Embedding Gemma).
    • O caminho do Mistral não depende disso.
  • Data: 2026-10-16.

Avaliação

  • Feito: teste de carga e geração com prompt sintético, sem dado real. O texto gerado é coerente em português clínico.
  • Não feito: avaliação clínica. O anot.ae só volta a recomendar o modelo depois de uma avaliação clínica mínima.

Uso

Modelo de apoio à documentação. Toda saída é revisada e assumida pelo profissional antes de qualquer efeito no prontuário ou no paciente (Resolução CFM nº 2.454/2026). Não é dispositivo médico, nem substitui o julgamento clínico.

Citação

Se usar este modelo, cite o trabalho original:

@inproceedings{pinto2024clinicalLLMs,
  title        = {Developing Resource-Efficient Clinical LLMs for Brazilian Portuguese},
  author       = {João Gabriel de Souza Pinto and Andrey Rodrigues de Freitas and Anderson Carlos Gomes Martins and Caroline Midori Rozza Sawazaki and Caroline Vidal and Lucas Emanuel Silva e Oliveira},
  booktitle    = {Proceedings of the 34th Brazilian Conference on Intelligent Systems (BRACIS)},
  year         = {2024},
}
Downloads last month
67
GGUF
Model size
7B params
Architecture
llama
Hardware compatibility
Log In to add your hardware

5-bit

Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for Sciereli/Clinical-BR-Mistral-7B-v0.2-GGUF

Quantized
(2)
this model