1줄 정의

모델 전체를 재학습하지 않고, 추가로 가벼운 ‘가중치 차분’ 만 훈련해 거동을 조정하는 기법.

전체 시스템에서 맡는 역할

LLM 은 학습 데이터 전체로 방대한 파라미터를 훈련한다. 기존 모델을 특정 용도에 맞추고 싶을 때 통상적으로 하면 전 파라미터를 재학습해야 해서 비용도 시간도 크다.

LoRA (Low-Rank Adaptation) 는 이 문제를 우회하는 기법. 원래 모델의 가중치는 동결해 둔 채, 저차원(low-rank) 행렬의 차분만 추가로 훈련한다. 차분은 원 모델의 수 퍼센트 이하로 작게 끝나고 저장도 로드도 가볍다.

실무에서 이런 용도로 영향이 온다.

• 도메인 특화 (의료, 법률, 금융 어투에 맞추기)
• 개별 사용자 적응 (사용자 문체 모방)
• 캐릭터 정의 (특정 페르소나로 대화)
• 문서 기억 (Doc-to-LoRA 로 retrieval 대안)

하나의 베이스 모델 + 여러 LoRA 를 전환해 쓰는 운영도 가능해서, “모델 본체는 공통, 용도별로 LoRA 교체” 라는 유연성이 생긴다.

흔한 오해

• 오해 1: LoRA 는 무거운 파인튜닝이다, 라고 긴장되기 쉽다.

– 실제로는 가볍다. Full fine-tuning 의 수십분의 1 비용으로 돈다. GPU 메모리도 크게 덜 먹는다.

• 오해 2: LoRA 를 쓰면 모델의 지식을 바꿀 수 있다, 라고 기대되기 쉽다.

– 실제로는 거동 스타일 조정이나 특정 태스크 적응에 어울리고, 광범위한 사실 지식 갱신에는 안 맞는다. 지식 갱신은 retrieval 이나 지속 학습의 역할.

이 용어가 중요한 이유

LoRA 를 알아 두면 “모델을 바꾸지 않고 거동을 바꾸는” 선택지가 생긴다.

• 자사 AI 서비스에 고유 문체를 입히고 싶다
• 사용자별 취향을 학습시키고 싶다
• 문서 기억을 parametric 하게 들고 싶다 (Doc-to-LoRA)

이런 걸 설계 회의에서 논의할 수 있는지는 LoRA 를 어휘로 갖고 있느냐에 달렸다.

이 용어가 나오는 기사

• Doc-to-LoRA, 파인튜닝 관련 기사

다음에 읽을 용어 3개

• Doc-to-LoRA — LoRA 를 문서 기억에 응용.
• LLM — LoRA 가 적용되는 대상.
• RAG — LoRA 와 대비되는 문서 지식 전달 방식.