Instructions to use Sciereli/Clinical-BR-Mistral-7B-v0.2-GGUF with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use Sciereli/Clinical-BR-Mistral-7B-v0.2-GGUF with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf Sciereli/Clinical-BR-Mistral-7B-v0.2-GGUF:Q5_K_M # Run inference directly in the terminal: llama cli -hf Sciereli/Clinical-BR-Mistral-7B-v0.2-GGUF:Q5_K_M
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf Sciereli/Clinical-BR-Mistral-7B-v0.2-GGUF:Q5_K_M # Run inference directly in the terminal: llama cli -hf Sciereli/Clinical-BR-Mistral-7B-v0.2-GGUF:Q5_K_M
Build from source code
git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-app # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama serve -hf Sciereli/Clinical-BR-Mistral-7B-v0.2-GGUF:Q5_K_M # Run inference directly in the terminal: ./build/bin/llama cli -hf Sciereli/Clinical-BR-Mistral-7B-v0.2-GGUF:Q5_K_M
Use Docker
docker model run hf.co/Sciereli/Clinical-BR-Mistral-7B-v0.2-GGUF:Q5_K_M
- Llama new
- LM Studio
- Jan
- Ollama
How to use Sciereli/Clinical-BR-Mistral-7B-v0.2-GGUF with Ollama:
ollama run hf.co/Sciereli/Clinical-BR-Mistral-7B-v0.2-GGUF:Q5_K_M
- Unsloth Desktop
- Docker Model Runner
How to use Sciereli/Clinical-BR-Mistral-7B-v0.2-GGUF with Docker Model Runner:
docker model run hf.co/Sciereli/Clinical-BR-Mistral-7B-v0.2-GGUF:Q5_K_M
- Lemonade
How to use Sciereli/Clinical-BR-Mistral-7B-v0.2-GGUF with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull Sciereli/Clinical-BR-Mistral-7B-v0.2-GGUF:Q5_K_M
Run and chat with the model
lemonade run user.Clinical-BR-Mistral-7B-v0.2-GGUF-Q5_K_M
List all available models
lemonade list
- Atomic Chat
Clinical-BR-Mistral-7B-v0.2 — GGUF Q5_K_M
Conversão para GGUF (Q5_K_M) do modelo
pucpr-br/Clinical-BR-Mistral-7B-v0.2,
feita pela Sciereli HDC para uso local no anot.ae, com
llama.cpp. O modelo e o treinamento são do projeto MED-LLM-BR
(HAILab-PUCPR e
Comsentimento); esta é só a conversão de
formato. Licença Apache-2.0, a mesma do original. Esta conversão não tem
vínculo com os autores nem foi revisada por eles.
English: GGUF Q5_K_M conversion of pucpr-br/Clinical-BR-Mistral-7B-v0.2 for local inference with llama.cpp. Weights and training are by the MED-LLM-BR project (HAILab-PUCPR and Comsentimento); not affiliated with or reviewed by the authors. Apache-2.0.
O que mudou em relação ao original
- Formato: safetensors (Hugging Face) → GGUF (llama.cpp).
- Precisão: bfloat16 (16 bits por peso) → Q5_K_M (5,67 bits por peso, em média). Os pesos foram arredondados para caber em 5,1 GB em vez de 14,5 GB.
- Nada mais: sem novo treinamento, sem ajuste fino, sem dado novo, sem mudança de tokenizador ou de arquitetura.
A quantização pode alterar levemente as respostas em relação ao original. Essa diferença não foi medida em texto clínico.
É um modelo de geração de texto (continua um texto clínico), não um assistente de conversa. Dados de treino, método e limitações: ver o cartão original.
Arquivo
| Arquivo | Tamanho | SHA-256 |
|---|---|---|
Clinical-BR-Mistral-7B-v0.2.Q5_K_M.gguf |
5.131.409.888 bytes | ff38740827d86b5177925473dbd5b61eea88f6b11c2f97420bae3fb71ba74f22 |
Proveniência
- Origem:
pucpr-br/Clinical-BR-Mistral-7B-v0.2, revisãoe4e5089b3306aa1f7b0b4dcc3307145698bb1499(base:mistralai/Mistral-7B-v0.3). Os SHA-256 dos dois arquivos baixados conferem com os publicados pelo Hugging Face nessa revisão:model-00001-of-00002.safetensors:7cba4f8c3a5ae036e09dd2c4e04f43f21b927dfa524a5525fd90ad96998bebeamodel-00002-of-00002.safetensors:adb742eb5085e0adc7981eb8613e7688125f2237ece9ef92b919a938b3fd167d
- Ferramenta: llama.cpp
v0.7.0(commit620d2225cc436ab0b001e3200e590e3b286ef9ab).convert_hf_to_gguf.py --outtype f16;llama-quantize … Q5_K_M, sem matriz de importância.
- Ambiente de conversão: Python 3.12, torch 2.2.2 e numpy 1.26.4.
- O
requirementsdo llama.cpp pede torch 2.11, mas por causa de outro modelo (Embedding Gemma). - O caminho do Mistral não depende disso.
- O
- Data: 2026-10-16.
Avaliação
- Feito: teste de carga e geração com prompt sintético, sem dado real. O texto gerado é coerente em português clínico.
- Não feito: avaliação clínica. O anot.ae só volta a recomendar o modelo depois de uma avaliação clínica mínima.
Uso
Modelo de apoio à documentação. Toda saída é revisada e assumida pelo profissional antes de qualquer efeito no prontuário ou no paciente (Resolução CFM nº 2.454/2026). Não é dispositivo médico, nem substitui o julgamento clínico.
Citação
Se usar este modelo, cite o trabalho original:
@inproceedings{pinto2024clinicalLLMs,
title = {Developing Resource-Efficient Clinical LLMs for Brazilian Portuguese},
author = {João Gabriel de Souza Pinto and Andrey Rodrigues de Freitas and Anderson Carlos Gomes Martins and Caroline Midori Rozza Sawazaki and Caroline Vidal and Lucas Emanuel Silva e Oliveira},
booktitle = {Proceedings of the 34th Brazilian Conference on Intelligent Systems (BRACIS)},
year = {2024},
}
- Downloads last month
- 67
5-bit
Model tree for Sciereli/Clinical-BR-Mistral-7B-v0.2-GGUF
Base model
mistralai/Mistral-7B-v0.3