RLAIF(Reinforcement Learning from AI Feedback)는 RLHF의 “인간” 자리를 “AI 평가 모델”로 바꾼 기법입니다. 사람이 일일이 답변을 비교·선호도를 매기는 대신, Constitutional AI 같은 원칙 기반 AI 평가자가 두 답변을 비교해 라벨을 만듭니다.

장점은 스케일·비용. 수십만 건의 선호 데이터를 며칠 안에 AI로 생성할 수 있어서, RLHF 대비 학습 순환이 빨라집니다. Anthropic이 Claude 훈련에 본격 도입했고, 품질도 RLHF와 동급이라는 연구 결과가 여러 차례 나왔습니다.

→ 원본 소스: Constitutional AI 논문 (Anthropic)