★ 국내 1호 프롬프트 엔지니어가 꺼내 놓은 프롬프트 실제 제작 노하우!
2022년 11월! 챗GPT라는 ‘대화형 AI’가 등장했을 때의 충격을 아직도 잊을 수 없다. 무엇이든지 묻기만 하면 원하는 대답을 거침없이 쏟아냈다. 그 모습을 보고 있으면 마치 ‘사람’과 대화하는 듯한 착각에 빠질 정도였다. 그러던 중 챗GPT가 때론 엉뚱하게 때론 잘못된 정보로 대답하기 시작하면서 혼란에 빠졌다. 뭐가 잘못된 걸까?
나중에야 AI에게 어떻게 질문을 하느냐에 따라 AI가 답하는 내용과 수준에 엄청난 차이가 있음을 알았다. 이처럼 대화형 AI에게 제대로 된 양질의 답변을 얻어내려면 양질의 질문을 해야 한다. 그리고 이렇게 질문하는 방법을 ‘프롬프트 엔지니어링’이라고 부른다.
이 책은 바로 이 ‘프롬프트 엔지니어링’에 대한 책이다. 하지만 단순히 프롬프트에게 “어떻게 질문하느냐”를 넘어 프롬프트를 “어떻게 개발하느냐”에 대해 다룬다. 그것도 설명을 위해 임의로 만든 예시가 아닌 국내 1호 프롬프팅 엔지니어인 저자가 직접 제작한 실제 프롬프트 사례로 ‘프롬프트 엔지니어링’을 다룬다. 단순히 거기에 그치지 않는다.
저자는 1년 동안 프롬프트를 제작하면서 그 과정과 노하우를 업무 일지로 꼼꼼하게 기록했는데, 이제 그 전부를 이 책으로 모두 풀어낸 것이다. 비즈니스 관점에서의 프롬프팅 기획, 사용자 경험을 우선시한 제작, 여러 경우의 수를 통한 테스트, 정량 및 정성적 평가, 꼼꼼한 기록과 문서화의 전 과정을 이 한 권에 풀어놓았다.
따라서 대화형 AI를 직접 만드는 개발자는 물론이고 프롬프트 엔지니어링의 원리를 이해하고 싶은 일반인까지 기초 개념부터 실습까지 프롬프팅 엔지니어링을 체계적으로 학습할 수 있다.

언어학의 여러 학문을 공부했다. Applied Linguistics, Second Language Acquisition, Korean Linguistics를 전공했다. 대화 분석학과 상호작용 언어학으로 박사 학위를 받았다. 사람과 사람 간의 대화 메커니즘, 그 중에서도 정치 토론에서의 전략적 언어 사용과 의미를 주로 연구했다. 생성형 AI 시대에 인문학의 저력을 믿는다. 실제 삶에 적용하고 증명하고 싶어 프롬프트 엔지니어가 되었다. 국내 공채 1호로 프롬프트 엔지니어 커리어를 시작했다. 현재 '더 프롬프트 컴퍼니'의 대표로 기업을 위한 제품을 개발하고 있다. 사람과 AI의 대화와 상호작용을 연구한다. 프롬프트를 쓰고 프롬프트 엔지니어링을 하며 현 시대의 언어를 담고 있다. 대표 저서로 『Decoding Korean Political Talk: From Date to Debate』(2024) 등이 있으며 [패스트캠퍼스 오프라인] https://fastcampus.co.kr/data_camp_prompt, [패스트캠퍼스 온라인] https://fastcampus.co.kr/data_online_no1prompt 에서 강의하고 있다.

PROLOGUE: 프롬프트 엔지니어의 업무 일지
_프롬프트 엔지니어는 직업일까? 역량일까?
_프롬프트 엔지니어의 일

PART 01 프롬프트 엔지니어에 들어서기

CHAPTER 01 프롬프트 엔지니어, 프롬프트, 프롬프트 엔지니어링의 이해
_거대 언어 모델의 발달과 프롬프트
_프롬프트 개념과 정의
__언어로서의 프롬프트
__단어 사용 추이로 본 프롬프트
__새로운 차원의 커뮤니케이션이라는 상징성을 가진 프롬프트
_인문학과 테크놀로지의 융합, 프롬프트 엔지니어링
_언어학과 대화 분석 그리고 프롬프트 엔지니어링


PART 02 프롬프트 기획하기

CHAPTER 02 대화 분석하기
_사용자 이해하기
_대화 분석하기
__첫 번째 기준: 싱글턴 vs. 멀티턴
__두 번째 기준: 정보 검색형 vs. 다른 행위 유형
__세 번째 기준: 선호 구조 vs. 비선호 구조
__네 번째 기준: 감정적 태도 vs. 비감정적 태도
_생성형 AI 사용자 세그먼트

CHAPTER 03 실제 사례를 통한 프롬프트 기획 엿보기
_기획 1: 역동적 질문 생성기
__1단계: 일반적 결론을 통한 이론 도출
__2단계: 가설 검증
__3단계: 문제 정의
__4단계: 문제 해결 방안 모색
__5단계: 기획 완료
_기획 2: 프롬프트 자동 완성기
__1단계 및 2단계: 전제 설정 및 논리적 추론
__3단계: 결론 도출
_기획 3: 올인원 시스템 프롬프트
__1단계: 문제 인식
__2단계: (첫 번째 문제 해결) 사용자 세그먼트 분포 불균형
__3단계: (두 번째 문제 해결) 글로벌과 로컬 영역
_기획 이후의 업무 프로세스
__문서화
__협업
__조율
__기술 데모 및 프레젠테이션 진행


PART 03 프롬프트 제작하기

CHAPTER 04 프롬프트 제작 원리와 방법
_프롬프트 설계와 구현에 필요한 네 가지 요소
_프롬프트 제작을 위한 테스트 환경
__오픈AI의 플레이그라운드 사용하기
__챗지피티 사용하기
_프롬프트의 작동 원리와 구성 요소
_네 가지 프롬프트 구조
__타입 A: 명령 + 출력 데이터
__타입 B: 명령 + 맥락 + 출력 데이터
__타입 C: 명령 + 맥락 + 예시 + 출력 데이터
__타입 D: 명령 + 입력 데이터 + 출력 데이터

CHAPTER 05 여러 프롬프트 엔지니어링 기법
_기본 프롬프트 엔지니어링 기법
_심화 프롬프트 엔지니어링 기법
__자기 일관성
__생각의 나무
__지식 생성 프롬프팅
__프롬프트 체이닝

CHAPTER 06 프롬프트 제작 원칙과 노하우
_원칙 1: 최신 모델을 사용한다
_원칙 2: 프롬프트 내용을 구조화한다
__제목과 헤더
__목록
__링크
__강조
__코드 블록
_원칙 3: 프롬프트는 구체적이고 상세하게 작성한다
_원칙 4: 정확한 분량을 제시하거나 예시를 제공한다
_원칙 5: 제로샷, 퓨샷, 파인 튜닝 단계로 프롬프팅한다
_원칙 6: 불필요한 수식어와 군더더기 문장을 제거한다
_원칙 7: '하지 말것’보다 '해야 할 것’을 지시한다
_원칙 8: 코드 기반의 프롬프트를 작성한다

CHAPTER 07 프롬프트 제작 사례
_사례 1: 역동적 질문 생성기
__프롬프트 도입부
__역할 정의
__조건 설정
_사례 2: 프롬프트 자동 완성기
__사용자 의도 분류하기
__프롬프트 도입부
__프롬프트의 규칙과 조건
_사례 3: 올인원 시스템 프롬프트
__버전 1: 일반
__버전 2: 수정
__버전 3: 복합
_사례 4: 단일 프롬프트
__한번에 끝내는 파워포인트 슬라이드 제작
__파워포인트 아웃라인 작성
__PPT 슬라이드 내용 작성과 발표 스크립트
__문장 교정 및 수정
__이메일 작성
__마케팅 이메일 작성
__광고 카피라이팅


PART 04 프롬프트 테스트하기

CHAPTER 08 프롬프트 테스트와 규칙
_프롬프트 테스트가 어려운 이유
_프롬프트 테스트의 내용과 절차
_프롬프트 테스트와 엔지니어의 직업 윤리
_프롬프트 성능을 평가하기 위한 열 가지 테스트 규칙
__규칙 1: 프롬프트는 최소 두 가지 버전으로 준비한다
__규칙 2: 프롬프트 버전은 기능 이름으로 정한다
__규칙 3: 각 버전의 목표와 기대 성능을 문서화한다
__규칙 4: 프롬프트 테스트에 작위적인 문장을 사용하지 않는다
__규칙 5: 테스트 데이터셋을 사용한다
__규칙 6: 테스트 도구는 오픈AI의 플레이그라운드를 사용한다
__규칙 7: 프롬프트는 최소 열 번 이상 생성한다
__규칙 8: 최소 세 명의 작업 관계자가 참여한다
__규칙 9: 다양한 언어 모델 버전을 사용한다
__규칙 10: 프롬프트 테스트 결과는 루브릭을 사용하여 기록한다


CHAPTER 09 프롬프트 테스트 도구와 방법
_프롬프트 테스트 도구
__프롬프트푸
__플레이그라운드의 프롬프트 컴페어
__비주얼 스튜디오 코드
__노코드 도구: 챗봇 아레나
_프롬프트 테스트 방법
__프롬프트 테스트 선행 연구
__프롬프트 테스트 절차


PART 05 프롬프트 평가하기

CHAPTER 10 프롬프트 평가 방법
_정량적 평가 방법
_벤치마크 평가 방법
_사용자 중심 평가 방법
_정성적+정량적 혼합 방법

CHAPTER 11 새로운 메트릭을 위한 언어 연구
_1단계: 사용자와 AI 간의 대화 분석
_2단계: AI의 답변을 받고 난 이후의 반응 분석
__답변에 따른 사용자 만족도 분석
__사용자의 턴 길이에 따른 만족도 분석
_3단계: 반응이 드러난 발화 상황 분석
_4단계: 분석 및 결과 도출
_5단계: 메트릭 카테고리화
_사용자 언어 연구 결과
__텍스트 레벨
__프레젠테이션 레벨
__인터렉션 레벨


Chapter 12 LLM을 사용한 프롬프트 자동 평가
_1단계: 데이터 전처리하기
_2단계: 턴 나누기
_3단계: 언어 모델별로 답변 생성하기
_4단계: 평가 메트릭스를 사용하여 점수 매기기
_5단계: 결론 도출하기
_6단계: 결과 활용하기


PART 06 프롬프트 기록하기

Chapter 13 프롬프트 기록하고 관리하기
_프롬프트 관리가 어려운 이유
_프롬프트를기록하고 관리하기 위한 도구
__깃, 깃허브 그리고 깃랩
__구글 스프레드시트
__비주얼 스튜디오 코드
__드롭박스
_데이터베이스 사용해서 프롬프트 관리하기
__노션으로 프롬프트 제작하기
__프롬프트 데이터베이스 제작 고려하기
__프롬프트 데이터베이스 구성하기
_프롬프트 상세 기록을 위한 템플릿 제작하기
_프롬프트 버전 관리하기
__프롬프트 버전 관리 규칙
__프롬프트 버전 관리 도구

마치며
출처 및 인용
찾아보기