koredact-bert-base-onnx

koredact-bert-base 의 ONNX 내보내기. 한국어 개인정보 13 유형 토큰 분류(NER), BIO 태깅 27 라벨. 추론 라이브러리 koredact 가 기본으로 내려받는 리포.

파일

• onnx/model.onnx: opset 20, 입력 input_ids·token_type_ids·attention_mask (축 [batch, seq]), 출력 logits [batch, seq, 27], fp32 단일 파일 440 MB. 내보내기 torch 2.13.0 dynamo.
• onnx/parity.json: 원본 PyTorch 가중치 대비 동등성 검증 기록.
• config.json(id2label·label2id) · tokenizer.json · tokenizer_config.json: 원본 리포와 같은 바이트.

동등성

• dev 1,590 문서 · 1,870 세그먼트 · 196,653 토큰에서 PyTorch 대비 토큰 argmax 불일치 0 · max|Δlogit| 8.5e-05.

사용법

uv add koredact 후:

from koredact import Masker
m = Masker.from_pretrained()                                  # 이 리포를 내려받아 로드
m.mask("문의 010-1234-5678 홍길동")                           # '문의 [PHONE] [NAME]'
m.mask(text, types=["PHONE"])                                 # 선택한 유형만 마스킹
Masker.from_pretrained(mask_tokens={"PHONE": "***"})        # 유형별 치환 문자열(기본 [TYPE])

onnxruntime + tokenizers 로 직접 호출할 때: 400자 창·100자 겹침으로 나눠 토큰 argmax → BIO 그룹 → 같은 유형의 겹친 스팬 병합.

평가·한계

원본 리포 카드 참조. 라이선스 CC-BY-SA-4.0(원본 계보 상속). 출력은 마스킹 전처리 용도이며 법적 판단 근거로 쓰지 않음.