ai-codyssey

B1-1 미션

업무 자동화 프롬프트 패키지 — 고객 문의 이메일 자동 분류 및 답변 초안 생성

중소 규모 이커머스·서비스 기업 고객지원팀(CS)을 대상으로, 고객 문의 이메일을 자동으로 분류하고 답변 초안을 생성하는 LLM 기반 업무 자동화 프롬프트 패키지를 설계·검증한 결과물이다. 모델 선정 → 시스템 설계 → 실행 검증의 3단계(Phase)로 구성된다.

📁 산출물 구성

파일	단계	내용
B1-1/Phase1_LLM모델비교선정보고서.md	Phase 1	LLM 모델 비교·선정
B1-1/Phase2_시스템설계문서.md	Phase 2	시스템·프롬프트 설계
B1-1/Phase3_실행로그.md	Phase 3	실행 로그 및 검증

---

Phase 1 — LLM 모델 비교·선정

동일한 업무 과업 프롬프트를 GPT-4o, Claude Sonnet, Gemini 1.5 Pro 3종 모델에 입력하여 7개 항목(5점 만점)으로 평가하였다.

• 평가 기준: 정확도, 문체·톤 자연스러움, 지시 준수율, 처리 속도, 비용 효율, 컨텍스트 유지, 한국어 품질
• 테스트 케이스: 환불 요청(TC-01), 배송 지연 항의(TC-02), 제품 사용법 복합 문의(TC-03)

모델	종합 점수
Claude Sonnet ✅	4.57
GPT-4o	4.43
Gemini 1.5 Pro	4.29

최종 선정: Claude Sonnet (4.57 / 5.0)

• 지시 준수율 만점 — 분류 규칙·답변 형식을 가장 충실히 이행
• 15턴 이상 장기 대화에서도 컨텍스트 드리프트 없음
• 한국 비즈니스 경어체 답변 품질 우수
• GPT-4o 대비 약 40% 저렴한 비용 효율

---

Phase 2 — 시스템 설계 문서

선정된 Claude Sonnet 기반으로 타겟 사용자·페르소나·분류 체계·프롬프트를 설계하였다.

• 페르소나: CS 팀 리더 "김지영" (일 100건 이상 이메일 처리, 응대 품질 균일화 목표)
• 이메일 분류 체계 (6종): CAT-01 환불·반품 / CAT-02 배송 / CAT-03 제품 불량 / CAT-04 사용법·기술 지원 / CAT-05 계정·결제 / CAT-06 기타 (각 우선순위 부여)
• 프롬프트 개선 (v1 → v2)
  • 자유 텍스트 → JSON 구조 강제 (category_code, priority, sentiment, confidence, draft_reply)
  • 카테고리명만 나열 → CAT 코드 + 우선순위 명시
  • 어조 규칙(경어체·공감 표현·번호 목록) 명시
  • Few-shot 예시 3종 제공 → 분류 정확도 88% → 96% 향상
• 검증 전략: 분류 정확도(≥95%), 형식 일관성(파싱 오류 0), 답변 품질(≥4.0/5), 응답 속도(≤5초), 엣지 케이스(오류율 ≤5%)

---

Phase 3 — 실행 로그 및 검증

v2 확정 프롬프트로 13턴의 실제 업무 시나리오를 수행하며 분류·답변을 검증하고, 발견된 문제를 수정하였다. (목표 10턴 초과 달성)

발견·수정한 주요 문제

턴	유형	문제	수정
T4	🔶 주의	영어 이메일에 영어로 답변	"답변은 반드시 한국어" 규칙 추가
T7	⚠️ 환각	타 턴 주문번호를 임의 연결	미제공 정보는 고객에게 확인 요청
T12	⚠️ 집계 오류	동일 이메일(T4/5) 중복 집계	고유 이메일 건수 기준 재집계

검증 결과 요약

지표	목표	실제
전체 처리 턴 수	≥ 10턴	13턴
분류 정확도 (1차)	≥ 95%	92.3%
분류 정확도 (수정 후)	≥ 95%	100%
JSON 파싱 성공률	100%	100%
평균 응답 품질	≥ 4.0	4.2

향후 개선 권고

1. "답변은 반드시 한국어로 작성" 규칙 명시 (T4 재발 방지)
2. "이메일 내 명시된 정보만 사용, 없는 정보는 고객에게 확인 요청" 규칙 추가 (T7 환각 방지)
3. "대화 이력 요약 시 고유 이메일 건수 기준 집계" 지침 추가 (T12 오류 방지)
4. 실운영 전 엣지 케이스 20건 이상 추가 테스트 (욕설·혼합 언어·초장문 이메일)

---

B1-2 — AI 멀티모달 브랜드 광고 제작

앱스피아(Appspia) 10초 브랜드 광고

25년 IT 현장 경험을 보유한 AX 전문강사 브랜드 앱스피아를 주제로, 브랜드 기획부터 이미지·영상·음성 생성과 통합 편집까지 이어지는 멀티모달 광고 제작 파이프라인을 설계하고 구현했다.

• 광고 목적: "AX 교육 = 앱스피아"라는 브랜드 인지도 형성 및 교육 문의 유도
• 핵심 메시지: "AI 전환, 현장을 아는 사람에게 배우세요."
• 톤앤매너: 딥네이비와 일렉트릭 블루 기반의 신뢰감 있는 시네마틱 테크 스타일
• 스토리 구조: 문제 제시(03초) → 교육을 통한 전환(37초) → 로고·슬로건·CTA 각인(7~10초)

주요 제작 도구

역할	도구	활용 내용
이미지 생성	나노바나나 2.0 (Gemini)	씬별 키비주얼 제작 및 레퍼런스 기반 스타일 통일
비디오 변환	Google Flow (Veo 3.1)	키비주얼을 시네마틱 모션 영상과 네이티브 앰비언트로 변환
내레이션	Gemini TTS	차분한 한국어 단일 화자 내레이션 생성
통합 편집	ffmpeg, Pillow	영상 트리밍·병합, 오디오 믹스, 로고·한글 자막 합성 및 워터마크 보정

구현 및 개선 내용

• 공통 스타일 프롬프트와 레퍼런스 이미지를 사용해 3개 씬의 색감·조명·인물 표현을 일관되게 유지
• 씬 1의 주황색·금융 화면 인상을 제거하고 AI 대시보드 중심으로 수정
• 씬 2의 청중을 한국인·동양인 직장인으로 구체화해 국내 기업 교육 브랜드의 현지성 강화
• 11.44초였던 TTS 원본의 불필요한 쉼을 줄여 9.51초로 조정하고, 영상에 맞춰 최종 10초로 믹싱
• 마지막 3초에 앱스피아 로고, 슬로건, 교육 문의 CTA를 삽입하고 생성 영상의 워터마크와 로고 가독성을 후처리
• 최종 영상은 10.00초 / 1280×720 / 24fps / H.264 / AAC 규격으로 완성

산출물 구성

파일	내용
B1-2/01_brand_identity.md	브랜드 타겟, 톤앤매너, USP, 핵심 메시지 및 로고 전략
B1-2/02_storyboard.md	3개 씬 스토리보드, 생성 프롬프트, 개선 로그 및 제작 결과
B1-2/appspia_storyboard.pdf	제출용 스토리보드 PDF
B1-2/scene01~03_keyvisual.png	씬별 AI 생성 키비주얼
B1-2/scene01~03_motion.mp4	Google Flow로 변환한 씬별 모션 영상
B1-2/narration_full_trimmed.wav	최종 편집용 한국어 내레이션
B1-2/brand_card.png	로고·슬로건·CTA가 포함된 브랜드 카드
B1-2/appspia_ad_final.mp4	최종 10초 브랜드 광고 영상

---

B2-2 텀 프로젝트

PB 뉴스 요약 자동화 워크플로우

RSS로 최신 기술(AI) 뉴스를 자동 수집하고, 생성형 AI로 3줄 요약한 뒤, Notion 데이터베이스에 자동 저장하는 무코드 자동화 파이프라인이다. 스케줄 트리거 → RSS 수집 → 주제 필터링 → AI 요약 → Notion 저장 → 에러 처리까지 자동화 워크플로우의 전체 흐름을 설계·구현하였다.

• 자동화 툴: n8n
• 생성형 AI: OpenAI gpt-4o-mini
• 저장소: Notion
• 실행 주기: 매일 09:00 (Asia/Seoul)

📁 산출물 구성

파일 / 위치	내용
B2-2/README.md	프로젝트 개요, 산출물, 파이프라인, 실행 방법, 보안 정책
B2-2/프로젝트.md	미션 소개, 요구 사항, 제약 사항, 결과 예시
B2-2/workflow/news-summary.n8n.json	import 가능한 n8n 뉴스 요약 자동화 워크플로우
B2-2/docs/workflow-design.md	노드별 역할·연결 구조·import/설정·스크린샷 가이드
B2-2/docs/design-decisions.md	도구·RSS·필터·AI·스키마·에러 처리 정책의 선택 이유
B2-2/screenshot/	n8n 워크플로우 및 Notion DB 실행 화면

---

파이프라인 한눈에 보기

스케줄(매일 09:00) → RSS 수집 → 주제 필터(AI, 최신 1건)
   → 중복 조회(원문 링크) → OpenAI 3줄 요약 → Notion 저장
   ↘ 뉴스 없음/중복 → 스킵      ↘ 오류 → 재시도(최대 2회) → 알림

핵심 구현 내용

• RSS 수집: 기술 뉴스 RSS 피드에서 최신 항목을 자동 수집
• 주제 필터링: AI, LLM, GPT, 생성형, 머신러닝 등 한/영 키워드 기반으로 AI 관련 기사 1건 선택
• AI 요약: OpenAI gpt-4o-mini를 활용해 기사 내용을 3줄 이내로 요약
• Notion 저장: 제목, 요약문, 원문 링크, 발행일시, 태그, 감성, 상태 등을 DB 속성에 매핑
• 중복 방지: 원문 링크(URL)를 기준으로 기존 저장 여부를 확인한 뒤 중복 저장·중복 요약 호출 방지
• 에러 처리: 타임아웃·5xx·레이트리밋 등 일시적 실패는 최대 2회 재시도하고, 실패 시 로그 및 알림 처리

보안 및 운영 원칙

1. API 키와 토큰은 n8n Credentials 또는 .env로 관리하고 저장소에는 포함하지 않는다.
2. 워크플로우 JSON에는 자격증명 참조 ID만 포함하며 평문 키는 저장하지 않는다.
3. 뉴스가 없거나 중복 기사인 경우 실패가 아닌 정상 분기로 종료해 불필요한 API 호출을 막는다.
4. 스케줄 트리거는 1일 1회 실행되며, 무한 루프가 발생하지 않도록 자가 호출 경로를 두지 않는다.