[북리뷰-IT] 랭체인으로 LLM 기반의 AI 서비스 개발하기 (길벗, 2024)

[북리뷰-IT] 랭체인으로 LLM 기반의 AI 서비스 개발하기 (길벗, 2024)

인공지능 시대, 이제 누구나 손쉽게 AI 서비스를 만들 수 있습니다! 

누구나? 난 개발자가 아닌데?!

손쉽게? 이게 정말 가능해?!

 

이번에 길벗에서 출간한 "랭체인으로 LLM 기반 AI 서비스 개발하기"는

초보자부터 전문가까지 누구나 쉽게 이해하고 활용할 수 있는 실용 가이드로,

랭체인 플랫폼을 활용한 LLM(거대 언어 모델) 기반 AI 서비스 개발 과정을 단계별로 안내하고 있습니다. ^^

 

[북리뷰-IT] 랭체인으로 LLM 기반의 AI 서비스 개발하기 (길벗, 2024)

 

개인적으로 도서가 출간되었을 때, 저자가 서지영님이어서 꼭 읽어보고 싶었습니다.

작년 이맘때 쯤, 머신러닝 딥러닝에 관심이 많아 여러 도서를 접했었는데,

길벗 출판사에서 나온 "딥러닝 텐서플로 교과서"는 책 제목처럼 딥러닝 입문서로써 기본기에 충실하게 잘 쓰여진 책으로, 서지영님이 저술한 책이었습니다. ( https://nunbu.tistory.com/65 참고 )

 

 

LLM과 랭체인, 혁신적인 AI 서비스 개발을 위한 만남

이 책은 총 6장으로 구성되어 있으며, 

각 장은 서로 밀접하게 연관되어 있어 체계적으로 학습할 수 있도록 구성되었습니다.

● 1장 LLM 훑어보기

   - LLM의 개념, 특징, 종류, 생성 과정, 생성 후 추가 고려 사항 등을 다룹니다.

 

LLM(Large Language Model, 거대 언어 모델)은 대규모 데이터로 훈련된, 매우 큰 규모의 AI 기반 언어 모델입니다.

많은 양의 데이터를 가지고 학습했다고 해서 모두 거대 언어 모델이라고 이름을 붙일 수 는 없고, 모델이 가지고 있는 파라미터의 수로 측정합니다.

출처 : 21p. 2021년 허깅페이스 게시글 (https://huggingface.co/blog/large-language-models)

 

LLM의 종류와 변천 모델들을 소개한 페이지인데, 최근에 공개된 GPT-4까지 정말 많네요.

[북리뷰-IT] 랭체인으로 LLM 기반의 AI 서비스 개발하기 (길벗, 2024) - Ch1. LLM 훑어보기

 

● 2장 LLM 활용하기

   - LLM 활용 방법 (파인튜닝, RAG, 퓨샷 러닝) 및 LLM 활용 시 주의 사항, LLM의 한계를 다룹니다.

 

기업에서 원하는 LLM은 범용 모델이 아닙니다.

챗GPT, Bard와 같이 우리가 흔히 사용하고 있는 LLM 챗봇은 특정한 목적과 분야(도메인)에 집중한 맞춤형 모델이 아닌 범용 모델에 기반하고 있습니다. 

그러나 기업에서 고객 대응, 업무용(B2B, B2C)으로 LLM 챗봇을 제공하려고 한다면, 그것은 범용 챗봇이 아닐 가능성이 높습니다. 어떠한 주제이든 만능으로 동작하기 보다는 기업의 워크플로우 중 일부를 대신할 수 있을 만큼 해당 분야에 특출난 지식/능력을 갖추는 것이 요구되기 때문입니다. 

 

파인튜닝(Fine-Tuning)은 기존의 LLM을 특정한 작업이나 상황에 맞게 조금 더 훈련시키는 과정이고,

RAG(Retrieval-Augmented Generation)는 자연어 처리 분야에서 사용되는 기술로, 정보검색과 생성을 결합한 AI 모델입니다.

[북리뷰-IT] 랭체인으로 LLM 기반의 AI 서비스 개발하기 (길벗, 2024) - Ch2. LLM 활용하기

 

 

● 3장 RAG 훑어보기

   - RAG 개념과 구현 과정 (정보 검색, 텍스트 생성)

   - RAG 구현 시 필요한 것 (데이터, 벡터 데이터베이스, 랭체인 프레임워크)을 다룹니다.

 

파인튜닝된 모델은 특정 시점까지의 데이터만 학습이 되기 때문에, 모델 외부 데이터에 대한 상시적 접근이 필요하다면 RAG가 더 효율적인 방법입니다. 

또한 할루시네이션의 억제가 더 중요하고,

충분한 양의 양질의 라벨링된 데이터를 확보할 수 없다면 파인튜닝은 적절한 선택이 아닙니다.

RAG(Retrieval-Augmented Generation)는 LLM이 텍스트를 생성할 때 관련 정보를 찾아보고(retrieval), 그 정보를 활용하여 새로운 텍스트를 만드는(generation) 기술입니다.

[북리뷰-IT] 랭체인으로 LLM 기반의 AI 서비스 개발하기 (길벗, 2024) - Ch3. RAG 훑어보기

 

● 4장 랭체인 익숙해지기

   - 랭체인 개요 및 랭체인을 사용하기 위한 환경 구성 (아나콘다 환경 구성, 필요한 라이브러리 설치, 키 발급)

   - 랭체인 주요 모듈 (모델 I/O, 데이터 연결, 체인, 메모리, 에이전트/툴)을 다룹니다.

 

RAG를 구현하려면 정보검색과 텍스트 생성이 필요한데,

텍스트 생성은 LLM의 몫이기 때문에 우리는 정보검색에만 신경쓰면 됩니다.

정보검색을 위해선 벡터 데이터베이스가 사용되기 때문에, 임베딩 과정이 필요하고, 이후 유사도 검색과 랭킹 처리를 해야하지만, 이 모든 것을 랭체인으로 가능합니다. 

[북리뷰-IT] 랭체인으로 LLM 기반의 AI 서비스 개발하기 (길벗, 2024) - Ch4.

 

랭체인을 사용하기 위한 모든 개발 환경구성 방법을

초보자도 따라할 수 있게 아주 상세히 소개하고 있으니 도전해보세요!

 

● 5장 랭체인으로 RAG 구현하기

   - 간단한 챗봇 만들기, RAG 기반 챗봇 만들기, PDF 요약 웹사이트 만들기, 독립형 질문 챗봇 만들기

   - 대화형 챗봇 만들기, 번역 서비스 만들기, 메일 작성기 만들기, CSV 파일 분석하기

 

개인적으로 가장 흥미로웠던 부분입니다. ㅋ

랭체인을 이용하면 단지 몇개의 라이브러리 설치와 코딩만으로 이렇게 쉽게 RAG를 구현할 수 있다니!!

제가 처음에 언급한 "누구나 손쉽게 AI 서비스를 만들 수 있다!" 

이 말이 증명되는 부분이네요~ ^^

[북리뷰-IT] 랭체인으로 LLM 기반의 AI 서비스 개발하기 (길벗, 2024) - Ch5. 랭체인으로 RAG 구현하기

 

 

● 6장 LLM을 이용한 서비스 알아보기

   - 콜센터, 상품 추천, 보험 언더라이팅, 코드 생성 및 리뷰, 문장 생성, M365 코파일럿

 

저자는 LLM이 실제로 어떤 서비스에 활용되고 있는지 소개하고 있습니다.

은행 IT부서에서 근무하는 저로써 가장 고민해야할 부분입니다.

과연 우리 회사에 어떤식으로 적용할 수 있을까?

금융업에 가장 중요시되는 고객 정보 보안은 어떻게 관리할까? 

텍스트 입력을 제한한다던지, 비식별화 기술로 커버될까? 등등..

잠깐이지만 이런저런 생각을 해봤습니다. 

 

 

 

이 책의 장점

부담되지 않는 두께의 책이고 그렇다고 결코 부실하지 않은 짧고 명확한 설명으로 다가왔습니다.

 

● 초보자도 쉽게 이해할 수 있는 명확하고 간결한 설명

    : 복잡한 기술 용어를 최소화하고, 실제 코드와 함께 단계별로 설명하여 초보자도 쉽게 LLM 및 랭체인을 이해하고 활용할 수 있도록 돕습니다.

● 다양한 실습 시나리오를 통한 실질적인 경험 제공

    : 간단한 챗봇부터 PDF 요약 웹사이트, 번역 서비스, CSV 파일 분석까지 실제 사용 가능한 수준의 8가지 LLM 서비스 구현 실습을 통해 독자들이 직접 AI 서비스를 개발하며 실질적인 경험을 쌓을 수 있도록 합니다.

● RAG 기법을 활용한 고도화된 LLM 서비스 개발 방법 소개

    : 최근 주목받는 RAG 기법을 활용하여 보다 정교하고 효과적인 LLM 서비스를 개발하는 방법을 심층적으로 다루고 있어, 독자들의 AI 서비스 개발 역량을 한 단계 더 업그레이드 시켜줍니다.

 

● 랭체인 플랫폼 활용에 대한 전문적인 안내

   : 랭체인 플랫폼의 설치 및 사용법부터 주요 모듈 활용 방법까지를 자세하게 설명하여 독자들이 랭체인 플랫폼을 활용하여 다양한 LLM 서비스를 개발할 수 있도록 돕습니다.

 

● 실습예제 및 완벽 정오표 제공

https://www.gilbut.co.kr/book/view?bookcode=BN004014#bookData

  : 도서의 전체 코드 재검증 후 정오표가 24.04.03일자로 업로드 되어 있으니, 실습하실때 꼭 참고하시기 바랍니다.

 

 

 

#북리뷰  #책  #IT  #LLM  #RAG  #랭체인  #AI 서비스  #PDF요약  #챗봇만들기  #번역서비스  #콜센터  #상품추천  #언더라이팅  #문장생성  #코렙   #개발  #길벗  #서지영