--- language: - ko - en license: apache-2.0 library_name: aster pipeline_tag: text-generation base_model: Qwen/Qwen3.8-27B tags: - aster - causal-lm - hybrid-ssm - state-space-model - attention - knowledge-distillation - instruction-following - custom-runtime - safetensors - experimental --- # Aster-1.0-Instruct **[Caramella Inc.](https://huggingface.co/CaramellaInc)가 개발한 SSM–Attention 하이브리드 언어모델** [English](./README.md) | [한국어](./README_ko.md) Aster-1.0-Instruct는 Aster 언어모델 계열의 명령어 수행 지향 체크포인트입니다. **독립적으로 초기화하고 학습한 State Space Model(SSM) 믹서** 와 **[Qwen3.8-27B](https://huggingface.co/Qwen/Qwen3.8-27B)에서 계승한 Attention, Token Embedding 및 LM Head 가중치** 를 결합한 구조입니다. Aster-1.0은 일부 사전학습 파라미터를 계승한 실험적 하이브리드 언어모델입니다. 기존 Qwen 구조를 그대로 Fine-tuning한 모델도, 모든 가중치를 처음부터 무작위 초기화하여 사전학습한 모델도 아닙니다. ## 프로젝트 비전 Aster는 **독자적인 언어모델 아키텍처, 학습 방법, 표현 공간을 단계적으로 개발하는 연구 프로젝트** 입니다. 프로젝트 초기에는 **Qwen3.8-27B를 참조 아키텍처(Reference Architecture)** 로 선정했습니다. 충분히 학습된 고성능 언어모델의 레이어 구성, 표현 차원, 사전학습 파라미터를 아키텍처 실험의 출발점으로 활용하기 위해서입니다. 목적은 Qwen을 최종적으로 복제하는 것이 아니라, Aster 고유의 언어모델을 개발하기 위한 기술적 기반을 마련하는 데 있습니다. 이 접근은 세 가지 원칙을 따릅니다. - **아키텍처 참조:** 검증된 고성능 모델 설계를 기준으로 초기 실험의 변수를 줄이고 비교 가능성을 높입니다. - **표현 공간 부트스트랩:** 일부 사전학습 가중치를 유지하여 새로운 SSM 구성 요소가 기존 언어 표현 체계와 상호작용하며 학습하도록 합니다. - **점진적 독립성:** 새로운 시퀀스 믹서, 학습 방법, 표현 공간을 개발·평가하고 후속 모델에서 외부 가중치 의존도를 줄여 나갑니다. 계승한 파라미터는 학습의 출발점이며, 원본 모델의 추론 능력이나 언어 능력 또는 내부 상태가 그대로 보존된다는 의미는 아닙니다. ## 모델 개요 | 항목 | 내용 | | --- | --- | | 개발사 | Caramella Inc. | | 모델 | Aster-1.0-Instruct | | 모델 계열 | Aster 1.0 | | 모델 유형 | Decoder-only Causal Language Model | | 아키텍처 | SSM–Attention 하이브리드 | | 파라미터 수 | 약 28.9B | | 백본 구성 | SSM 믹서 48개 + Attention 레이어 16개 (총 64개 레이어) | | 언어 | 한국어, 영어 | | 입출력 | 텍스트 → 텍스트 | | 가중치 형식 | Safetensors | | 추론 런타임 | 자체 Aster 런타임(Rust) | | 라이선스 | Apache-2.0 | ## 아키텍처 Aster-1.0은 참조 모델의 Gated DeltaNet 믹서를 **새로운 Aster 파라미터로 초기화하고 학습한 SSM 믹서** 로 대체했습니다. 일부 사전학습 구성 요소를 유지해 새로운 모델이 학습할 수 있는 표현상의 기준점을 확보했습니다. ```text 입력 토큰 │ ▼ Token Embedding (Qwen3.8-27B 가중치 계승) │ ▼ ┌─────────────────────────────────────────┐ │ Aster-1.0 Hybrid Backbone │ │ │ │ 48 × 독립적으로 학습한 SSM 믹서 │ │ 16 × 가중치를 계승한 Attention 레이어 │ │ (총 64개 레이어) │ └─────────────────────────────────────────┘ │ ▼ LM Head (Qwen3.8-27B 가중치 계승) │ ▼ 다음 토큰 Logits ``` 위 그림은 구성 요소를 요약한 개념도이며 정확한 레이어 실행 순서를 나타내지는 않습니다. **Aster-1.0의 Recurrent Mixer는 SSM이며, GDN-2는 이후 Aster 연구에서 별도로 다루는 방향입니다.** ### 가중치 계보 | 구성 요소 | 초기화 출처 | | --- | --- | | SSM 믹서 | Aster-1.0을 위해 새로 초기화하고 학습 | | Attention 레이어 | Qwen3.8-27B 사전학습 가중치 | | Token Embedding | Qwen3.8-27B 사전학습 가중치 | | LM Head | Qwen3.8-27B 사전학습 가중치 | 표에 포함되지 않은 구성 요소의 초기화 출처는 별도로 단정하지 않습니다. ## 학습 접근 방식 Aster-1.0은 **가중치 계승(Weight Transfer)** 과 **아키텍처 간 지식 증류(Cross-architecture Knowledge Distillation)** 를 결합하여, 새로 초기화한 SSM 믹서가 사전학습된 언어모델 구성 요소와 함께 효과적으로 학습할 수 있는지 연구합니다. - **가중치 계승:** 사전학습 체크포인트의 호환 가능한 파라미터를 대상 모델의 초기 가중치로 사용합니다. - **지식 증류:** Teacher의 중간 표현이나 출력 분포 등에서 얻은 학습 신호를 통해 Student를 학습합니다. - **SSM 독립 학습:** Qwen의 Gated DeltaNet 믹서 가중치를 Aster의 SSM 믹서에 그대로 복사하지 않고, 새로 초기화한 파라미터를 학습합니다. Aster는 서로 다른 시퀀스 모델 아키텍처 사이에서 능력을 이전하는 **MOHAWK** 연구의 아이디어를 참고했습니다. Instruct 체크포인트는 이러한 연구 흐름에서 파생된 명령어 수행 지향 릴리스입니다. 이 모델은 Teacher의 모든 능력이 보존되었다는 증거가 아니라, 새로운 계산 구조의 학습과 향후 독자적인 Aster 모델 개발을 연구하기 위한 기반입니다. ## 다운로드 및 실행 환경 Hugging Face CLI로 체크포인트를 다운로드할 수 있습니다. ```bash hf download CaramellaInc/Aster-1.0-instruct \ --local-dir ./Aster-1.0-instruct ``` Aster-1.0은 **Rust 기반 자체 추론 런타임** 과 하이브리드 Recurrent 아키텍처를 사용합니다. Hugging Face Transformers나 vLLM의 일반적인 Qwen 로딩 방식은 Aster 아키텍처에 대한 별도 지원 없이는 그대로 적용할 수 없습니다. 추론 시에는 Aster 체크포인트와 런타임에 대응하는 Tokenizer, 모델 설정 및 대화 포맷을 사용합니다. ## 권장 활용 분야 - SSM–Attention 하이브리드 언어모델 아키텍처 연구 - 아키텍처 간 지식 이전 및 언어모델 변환 실험 - 한국어·영어 텍스트 생성과 명령어 수행 연구 - 호환되는 런타임을 이용한 Aster 체크포인트 분석과 재현 연구 ## 한계 Aster-1.0-Instruct는 연구용 체크포인트입니다. 벤치마크 증빙 이전까지 구조와 파라미터 계보만으로 언어 이해, 추론, 장문맥 검색, 지연시간, 메모리 효율의 개선이 입증되는 것은 아닙니다. 생성 결과에는 부정확하거나 오해를 유발하는 내용이 포함될 수 있습니다. 중요한 의사결정에 사용하기 전에는 사람의 검토와 독립적인 검증이 필요합니다. 이 모델은 지속적인 의미기억, 온라인 Continual Learning 또는 Recurrent State를 장기 가중치로 자동 공고화하는 기능을 제공한다고 주장하지 않습니다. ## 모델 계보 및 라이선스 Aster-1.0-Instruct는 **Caramella Inc.** 가 개발했으며, **[Qwen/Qwen3.8-27B](https://huggingface.co/Qwen/Qwen3.8-27B)** 의 일부 사전학습 파라미터를 계승했습니다. 모델은 저장소와 원본 모델에 표시된 **Apache-2.0** 라이선스로 배포됩니다. SSM 믹서는 독립적으로 초기화·학습했지만, Attention, Token Embedding, LM Head의 가중치 계보는 Qwen과 연결됩니다. 원본 모델의 저작권, 라이선스, 출처 표기 및 수정 사항 고지 의무는 적용 범위에 따라 유지됩니다. ### 참고 자료 - [Qwen3.8-27B](https://huggingface.co/Qwen/Qwen3.8-27B) - [Aster-1.0-Base(Private)](https://huggingface.co/CaramellaInc/Aster-1.0-base) - [Transformers to SSMs: Distilling Quadratic Knowledge to Subquadratic Models (MOHAWK)](https://arxiv.org/abs/2408.10189) ## 인용 ```bibtex @misc{caramella_aster_1_0_instruct_2026, title = {Aster-1.0-Instruct: A Hybrid SSM-Attention Language Model}, author = {{Caramella Inc.}}, year = {2026}, howpublished = {Hugging Face model repository}, url = {https://huggingface.co/CaramellaInc/Aster-1.0-instruct} } ```