LLM

4월 2일에 나온 Google Gemma 4. 가장 작은 모델(2.3B)이 전 세대 가장 큰 모델(27B)을 수학이랑 코딩에서 이겼다. 12배 작은 모델이 더 똑똑하다. 대체 무슨 일이 벌어지고 있는 건지 정리해봤다. 2.3B가 27B를 이겼다는 게 무슨 뜻이야 “B”는 Billion, 10억이다. 2.3B면 23억 개의 파라미터, 27B면 270억 개. 파라미터는 모델이 학습한 지식을 저장하는 칸이라고 보면 된다. 지금까지는 이 … Read more