テイラー百科事典
FP16
FP16은 16비트 부동소수점 포맷입니다. LLM 가중치를 저장·연산하는 기본 정밀도로, FP32 대비 메모리는 절반·연산 속도는 2배, 정확도 손실은 학습·추론 모두에서 실용 수준 안에 들어옵니다.
FP16은 16비트 부동소수점 포맷입니다. LLM 가중치를 저장·연산하는 기본 정밀도로, FP32 대비 메모리는 절반·연산 속도는 2배, 정확도 손실은 학습·추론 모두에서 실용 수준 안에 들어옵니다.
7B 모델 기준 FP32는 28GB, FP16은 14GB. H100·A100·최근 맥 M 시리즈 모두 FP16 네이티브 지원이라 기본값으로 자리잡았습니다. 추가 압축이 필요하면 FP8·INT8·INT4 양자화로 단계적으로 내려갑니다.
→ 원본 소스: NVIDIA · Mixed Precision Training