[서평/리뷰 #7] <LLM 엔지니어링>

한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다.

 

안녕하세요 dev_writer입니다. 이번에는 한빛미디어 서평단 활동으로 받은 <LLM 엔지니어링>에 대해 리뷰해 보겠습니다.

목차

책은 11가지의 챕터와, 부록 1가지를 담고 있습니다. 이번 서평에서는 LLM Twin과 LLM 평가 요소에 대해 알게 된 내용을 짧게 요약하고, 총평하도록 하겠습니다.

1. LLM Twin 개념과 아키텍처 이해
2. 도구 및 설치
3. 데이터 엔지니어링
4. RAG 특성 파이프라인
5. 지도 학습 파인튜닝
6. 선호도 정렬을 활용한 파인튜닝
7. LLM 평가
8. 추론 최적화
9. RAG 추론 파이프라인
10. 추론 파이프라인 배포
11. MLOps와 LLMOps
12. 부록: MLOps 원칙

LLM Twin

책에서는 LLM Twin을 아래와 같이 설명하고 있습니다.

간단히 말해, LLM Twin은 복잡한 AI 모델인 LLM에 자신의 글쓰기 문체, 어조, 성격을 반영한 AI 페르소나이다. 이는 LLM 속에 '투영된' 자신의 디지털 버전이라고 할 수 있다. 일반적으로 LLM이 공개한 인터넷의 데이터로 학습된 것과 달리, LLM Twin은 자신의 데이터를 LLM에 파인튜닝한다.

 

LLM Twin을 구축하면, 번거로운 작업 (SNS 맞춤형 콘텐츠 작성)을 효율적으로 작성할 수 있습니다. ChatGPT와 같은 일반적인 LLM을 이용하면 개인화되어 있지 않은 것으로 프롬프팅 / 환각 발생 등의 문제가 발생할 수 있습니다.

 

이 내용을 읽고, 본 책의 작성 의도는 "LLM API를 붙여 애플리케이션을 만드는 방법에 대한 안내" 가 아니라, "LLM 그 자체를 만들고 관리하는 방법"을 안내하고 있다는 것을 알게 되면서 처음 의도와 달라 조금 당황했었습니다. 책을 선택하실 때, 저자의 의도가 LLM 자체를 만드는 방법에 대한 것임을 미리 확인해두시면 좋을 것 같습니다.

LLM 평가

책에서는 ML의 평가 요소와 LLM의 평가 요소를 구분하면서, 각각이 중점을 둔 요소가 다른 것임을 알려주고 있습니다.

ML 평가

• 모델이 구조화된 데이터를 얼마나 정확하고 효율적으로 처리해 특정 결과를 도출하는지에 초점을 둠
• 주가 예측, 이상치 탐지 등 명확히 정의된 문제를 해결하기 위한 목적

LLM 평가

• 모델이 언어를 얼마나 잘 이해하고 생성하는지에 초점을 둠
• 언어를 해석하고 생성하는 작업을 수행함에 따른 주관성 부여

즉, LLM을 평가할때는 수치와 같은 정량적 평가 말고도 일관성 있는 답변을 내리는지에 대한 정성적 평가가 필요합니다.

 

이 외에도, RAG 시스템을 평가할 때에는 주로 신뢰도 / 답변 관련도 / 문맥 정밀도 / 문맥 재현율 네 가지가 평가될 수 있음을 안내하고 있어, 실제 RAG를 평가할 때 반드시 알아야 할 요소를 배울 수 있었습니다.

총평

책의 구성 자체는 풍부한 그림과 코드를 통해 ML 지식이 있으신 분들이 더 쉽게 이해하실 수 있도록 구성되어 있습니다. 또, 각 장의 마지막에 요약과 참고 문헌까지 제공하여, 각 장에 대한 지식을 복기하고 추가적인 학습을 할 수 있도록 구성되어 있던 점이 좋게 느껴졌습니다.

각 장의 마지막에 있는 요약과 참고 문헌

 

다만 위에서 말씀드린대로, "LLM 애플리케이션"의 의미를 혼동하여 구매하신 분들이라면 읽기 어려우시겠다는 점이 들어 그 점에서 아쉽게 느껴졌습니다. 보다 본질적으로 LLM을 탐구해보고 싶은 분들이라면 추천될만한 책이지만, LLM을 이용한 서비스를 만들고 싶고 이때 활용할 수 있는 방법들을 익히고 싶으신 분들이라면 조금 더 낮은 수준의 책으로 읽어보시는 것을 추천드립니다.