Alibaba Cloud · Model Distillation

Protected Content

이 페이지는 비밀번호로 보호되어 있습니다

비밀번호가 올바르지 않습니다

Alibaba Cloud · Model Distillation

Model Distillation을 직접 지원합니다.
코드 한 줄 없이, 프로덕션까지.

PAI-EasyDistill부터 AI Gateway까지 — 데이터 주권을 보장하는 엔드투엔드 풀스택

📅 2026.07 기준 📊 Verified facts only 🔒 Tokyo 리전 지원

↓ 아래 파이프라인 맵에서 노드를 클릭해 보세요

🧠Teacher Model (대규모 모델)

수십~수백B 파라미터 · 최고의 성능 · 높은 추론 비용

예: Qwen-72B, DeepSeek-V3, GPT-4

대규모 모델의 추론·판단 능력을 소규모 모델에 그대로 전수

🎓Student Model (경량 모델)

수B 파라미터 · Teacher에 근접한 성능 · 1/10 이하 비용

예: Qwen-7B, 커스텀 도메인 특화 모델

1/10

추론 비용 절감

95%+

Teacher 대비 성능 유지

10×

응답 속도 향상

END-TO-END PIPELINE

한눈에 보는 전체 파이프라인

클릭 시 더 자세한 정보를 제공해드리겠습니다.

CLIENT'S DATA

↓

CLIENT'S APPLICATION

ESC 키 또는 좌측 상단 ← 버튼으로 맵으로 돌아올 수 있습니다

기법	지원	비고
Black-box distillation	✅	Teacher가 데이터 생성
SFT (Supervised Fine-Tuning)	✅	Student 학습 방식
LoRA	✅	권장 — 품질과 GPU 메모리 균형
QLoRA	✅	메모리 추가 절약
Full-parameter fine-tuning	✅	최고 품질, 리소스 집약
DPO / RLHF / PPO	❌	미지원
White-box (logit-based)	❌	미지원

옵션	설명	대상
Instruction enhancement	지시문 다양화, 스타일 확장	범용 instruction 모델
Instruction optimization	지시문 명확화, 상세화	범용 instruction 모델
CoT expansion	추론 단계 상세화	추론 모델
CoT abbreviation	추론 체인 간결화 (추론 속도 ↑)	추론 모델

파라미터	기본값	비고
temperature	0.8	[0, 2], 높을수록 다양성 증가
max_new_tokens	128	상세 추론 시 512/1024 권장
learning_rate	5e-5	loss 감소 속도에 따라 조정
num_train_epochs	1	1-3 권장, 과적합 주의
seq_length	128	긴 텍스트 시 증가, 메모리 유의

모델	학습 비용 ($/1K tokens)
Qwen3-32B	$0.008
Qwen3-14B	$0.0016
Qwen3-VL-8B-Instruct	$0.002
Qwen3-VL-8B-Thinking	$0.002

구분	PAI Distillation	Model Studio Fine-tuning
목적	Knowledge transfer (대→소)	Task adaptation
Teacher 모델	✅ 데이터 생성	❌ 직접 제공
Data augmentation	✅ 내장	❌
모델 선택	Gallery distillation 지원 모델	Qwen3-32B/14B/VL-8B
배포	PAI-EAS	Model Studio Deployment
복잡도	높음 (2단계)	낮음 (업로드→학습→배포)

Model Distillation을 직접 지원합니다.
코드 한 줄 없이, 프로덕션까지.

한눈에 보는 전체 파이프라인

핵심 강점

Distillation — 두 가지 경로

PAI-EasyDistill (Heavy Path)

지원 기법

Teacher & Student 모델

Data Augmentation 옵션

2단계 워크플로우

핵심 하이퍼파라미터

Model Studio Fine-tuning (Light Path)

PAI vs Model Studio 비교

Serving — PAI-EAS

API 호출 형식

AI Gateway — Production Readiness Layer

핵심 기능 8가지

AI Advanced RAG 상세

데이터 주권 & 리전

3가지 분리된 관심사

Deployment scope 옵션

Access host 티어

가격 (2026.07 기준)

Qwen 3.7-Plus Output $/1M tokens

DeepSeek V4-Pro Output $/1M tokens

GLM 5.2 / Kimi K2.7-Code Output $/1M tokens

기능	상세
배포 엔진	vLLM, TensorFlow Serving, Triton, custom image, ComfyUI, SDWebUI
API 형식	v1/chat/completions (OpenAI 호환)
Public endpoint	기본 공유 게이트웨이, 인터넷 접근
VPC endpoint	동일 리전 private 접근 (cross-region 미지원)
Dedicated gateway	프로덕션 권장, 강력한 격리와 용량
Autoscaling	✅ 문서화됨
Async inference	✅
Observability	Logging, monitoring, alerting 내장
Release management	Blue-green / canary (암시적)
Stress testing	내장 디버깅 및 부하 테스트
Sandbox	격리 테스트 환경

구분	제어 대상
Region	접근 포인트 + 데이터 저장 위치. 정적 데이터 항상 여기 유지
Deployment scope	실제 inference 실행 위치 (compute 노드)
Access host	SLA 티어, timeout, 프로토콜, 용량

리전	Scope	보장
Singapore	International (중국 본토 제외)	중국 본토 미경유
Tokyo	Japan	Inference 일본 내 제한
Frankfurt	EU	Inference EU 내 제한
US Virginia	United States	Inference US 내 제한
Hong Kong	China HK	Inference HK 내 제한
Beijing	중국 본토	Inference 중국 내 제한

Host	Timeout	프로토콜	SLA	용도
Workspace-specific	3600s	HTTP/SSE/WS/WebRTC	99.9%	프로덕션
DashScope legacy	600s	HTTP/SSE/WS	99.9%	일반/레거시
Trial	600s	HTTP/SSE	—	단기 평가

Model Distillation을 직접 지원합니다.코드 한 줄 없이, 프로덕션까지.

한눈에 보는 전체 파이프라인

핵심 강점

Distillation — 두 가지 경로

PAI-EasyDistill (Heavy Path)

지원 기법

Teacher & Student 모델

Data Augmentation 옵션

2단계 워크플로우

핵심 하이퍼파라미터

Model Studio Fine-tuning (Light Path)

PAI vs Model Studio 비교

Serving — PAI-EAS

API 호출 형식

AI Gateway — Production Readiness Layer

핵심 기능 8가지

AI Advanced RAG 상세

데이터 주권 & 리전

3가지 분리된 관심사

Deployment scope 옵션

Access host 티어

가격 (2026.07 기준)

Qwen 3.7-Plus Output $/1M tokens

DeepSeek V4-Pro Output $/1M tokens

GLM 5.2 / Kimi K2.7-Code Output $/1M tokens

Model Distillation을 직접 지원합니다.
코드 한 줄 없이, 프로덕션까지.