Pally — CharaShift MVP

[English] An AI English conversation partner whose personality shifts in real-time based on your speaking style. Five axes combine learned text-style models (Formality · Humor · Curiosity), access history (Intimacy), and within-speaker pitch-range change (Energy), passed through a CHARACTER MATRIX transform, and reflected instantly in Pally's shape, color, and tone.

Demo (mobile or F12 → mobile view on desktop): capstone-eight-virid.vercel.app/home · YouTube walkthrough

Stack: Next.js 14 · FastAPI · Google Cloud STT/TTS · Gemini 2.5 Flash · Supabase · Canvas2D Superformula

Full documentation below is in Korean (Ewha Womans University Capstone Design 2026, Team puter8).

---

대화 진행에 따라 성격이 변하는 AI 캐릭터와의 정서적 유대감 기반 영어 회화 학습 지속 서비스

이화여대 캡스톤 디자인 (산학 트랙) · 팀명 퓨터(puter8) · 지도교수 심재형 · 2026-06-07 데모

---

데모 (Live)

⚠️ 데스크톱은 F12 → 모바일 뷰(~360px)로 열어주세요. 모바일 기기에서는 그냥 접속하면 됩니다.

Surface	URL	상태
데모 영상	https://youtu.be/Ptlq6SM4C6g?si=ShOETKqPAWakxxjb	YouTube
서비스 (Vercel)	https://capstone-eight-virid.vercel.app/home	접속 가능

스크린샷

홈 · 오늘의 표현	대화 화면	발화별 피드백

현재 UI의 Figma 디자인 시안입니다. 홈의 오늘의 표현 카드, Pally와의 대화, 발화별 교정·대안 표현 화면을 보여줍니다. 시안 속 이름·날짜·대화는 예시입니다.

데모에서 확인할 수 있는 흐름

대화 시작 전 홈의 오늘의 표현 카드에서 표현·뜻·예문을 확인할 수 있습니다. 듣기 버튼을 누르면 예문 음성이 재생되고, 다시 누르면 중지됩니다.

1. 홈 화면에서 마이크 버튼(rec)을 누르면 브라우저 권한 요청 후 녹음 시작
2. 영어로 한 문장 말하기 → STT(Google Cloud) → Gemini 2.5 Flash 응답
3. 발화 텍스트가 5축으로 분석되고 → CHARACTER MATRIX 통과 → Pally 외형과 말투가 즉시 변함
4. 응답은 TTS로 자연 음성 재생, 화면 하단에는 한국어 인라인 힌트가 표시됨
5. 우상단 X로 세션 종료 시 누적 점수가 반영된 최종 Pally 모습을 공개

---

팀

이름	역할
최윤서	PM · 기획 · QA
백은혜	BE · AI 파이프라인 (FastAPI · GCP STT/TTS · Gemini · Supabase)
김민주	AI 엔진 · Pally 렌더러 (5축 분석 · CHARACTER MATRIX · Canvas2D)
이찬희	FE · 디자인 (Next.js 14 · 메인/오디오 셸 · 디자인 시스템)

---

문제와 솔루션 한 줄

• 해결하려는 문제: 기존 영어 회화 서비스는 사용자 말투와 대화 성향을 충분히 반영하지 못해 대화가 획일적으로 느껴질 수 있습니다.

• 기술 솔루션: 사용자 발화를 5개 축으로 수치화한 뒤, CHARACTER MATRIX 연산으로 AI 캐릭터 파라미터로 변환합니다. EMA 설정을 통해 Pally의 성격 변화율을 안정적으로 유지합니다.

• 기대 효과: 사용자 스타일이 반영되는 더 몰입감 있는 회화 경험을 제공하여 사용자가 향후 실제 AI 대화 시스템과 연결 가능한 핵심 엔진을 확보합니다.

• MVP 핵심기술: 사용자 발화 스타일 -> 5축 점수 -> CHARACTER MATRIX -> 캐릭터 반응 성격

• 입력 5축: Formality · Energy · Intimacy · Humor · Curiosity

• 출력 캐릭터 파라미터: tone_casual · energy_level · humor_level

• 분석 구조: 능동학습 기반 텍스트 3축(Formality·Humor·Curiosity) + 접속 이력 기반 Intimacy + 음성 억양 변화 기반 Energy → CHARACTER MATRIX·상태 누적 → 캐릭터 반응

영어 회화 학습 서비스는 보통 질문에 답하는 기능 자체는 제공하지만, 사용자의 말투와 친밀도, 에너지 수준, 질문 성향까지 세밀하게 반영하는 경우는 많지 않습니다. 그 결과 사용자는 "나에게 맞춘 대화"보다 "정해진 챗봇 응답"을 받는 느낌을 받기 쉽습니다.

자세한 설계 근거는 docs/mvp/2026-05-midterm-qa.md 참고.

---

주요 기능

• 오늘의 표현 카드 — 홈에서 영어 표현·한국어 뜻·예문을 확인하고, Google Cloud TTS로 생성한 예문 음성을 재생·중지. 대화를 시작하거나 다른 화면으로 이동하면 재생 종료
• 음성 입력/출력 — 브라우저 마이크 → Google Cloud Speech-to-Text(EN) → Gemini 2.5 Flash → Google Cloud Text-to-Speech(EN) → 즉시 재생
• 3축 학습 모델 + 2축 관측 지표 — 텍스트의 공손성·유머·질문 참여는 학습 모델로, 친밀도는 누적 접속 일수로, 에너지는 개인 기준 대비 음성 억양 폭 변화로 산출
• CHARACTER MATRIX 엔진 — 서로 다른 입력으로 얻은 축 점수를 캐릭터 파라미터로 변환하고, 누적 상태에 반영
• Pally 실시간 변형 — Canvas2D Superformula 도형이 형태·색·표정으로 5축 변화를 시각화
• 자연스러운 문법 교정 — Gemini가 사용자의 문법/어휘 실수를 직접 지적하지 않고 올바른 표현을 자연스럽게 사용해 응답
• 세션 종료 컷신 — X 버튼으로 세션 종료 시 누적된 변화가 적용된 최종 Pally를 공개
• 익명 세션 — Supabase sessions / messages 테이블에 세션 ID 기반으로 모든 턴·5축·캐릭터 파라미터를 JSONB로 저장. RLS는 session_id 기준

기술 솔루션

최근 반영 — 2026-11-03 · PR #139 오늘의 표현 카드는 현재 고정 예시 I’m into ~(“~에 푹 빠져 있어요”)와 I’m into baking these days.를 제공합니다. 매일 자동 변경·레벨별 선정·사용 여부 판정은 아직 구현하지 않았습니다.

현재 모델의 핵심은 CHARACTER MATRIX 엔진입니다.

---

1. 음성에서 전사 텍스트와 억양 특징을 얻고, 사용자 접속 이력을 함께 조회합니다.
2. 학습한 텍스트 모델이 Formality·Humor·Curiosity 3축을 예측합니다.
3. Intimacy는 누적 접속 일수, Energy는 개인 기준 음성 대비 억양 폭 변화로 계산합니다.
4. CHARACTER MATRIX와 상태 누적 로직이 축 점수를 캐릭터 파라미터로 연결합니다.
5. Pally의 외형 변화와 대화·피드백으로 결과를 제공합니다.

데이터 규모와 모델 개발 과정

초기 소규모 예문과 규칙 기반 분석에서 출발해, 실제 영어 발화 코퍼스와 능동학습을 활용한 3축 모델로 발전시켰습니다. 데이터의 확보 규모, 자동 라벨 확장 실험 규모, 최종 모델의 사람 라벨 학습 규모를 구분합니다.

단계	데이터 규모	활용 방식
실제 발화 확보	543,658개 · 7개 코퍼스	NICT JLE·AMI·CHiME-6·HCRC Map Task·ICSI·Santa Barbara·Taskmaster-1에서 학습자 인터뷰·일상·회의·과업 대화 수집
확장 실험 대상	238,475개 고유 발화	평가용 대화 그룹 보호와 중복 처리를 거쳐 자동 라벨링·의사 라벨 기반 확장 학습 실험에 활용
사람 라벨 학습	118개 발화 · 55개 대화 그룹	최종 선택된 3축 모델의 학습·그룹 교차검증에 사용. 부분 라벨을 허용해 유효 라벨 수는 Formality 110개, Humor 118개, Curiosity 113개
개발 평가	35개 발화	학습과 분리한 개발 자료. 유효 라벨은 Formality 30개, Humor 35개, Curiosity 30개
능동학습 추가 선정	50개 후보	학습 자료의 교차검증 오차와 모델 불일치 등을 바탕으로 보완할 사례를 선정. 24개 이중 AI 검수, 축별 합의 조건을 통과한 21개를 보완 실험에 활용

개발 흐름은 실제 발화 정제 → rubric에 따른 라벨링 → 기준 모델 학습 → 오차·불일치 사례 우선 선정 → 검수·보완 실험 → 재학습·축별 모델 선택입니다. 자동 라벨과 AI 검수는 사람 정답과 구분하며, 최종 선택 모델은 사람 라벨 118개로 학습했습니다. 238,475개 전체를 사람이 라벨링했거나 최종 모델이 모두 학습한 것으로 표현하지 않습니다.

以上为 README 的开头部分。其余内容请阅读原文。 查看完整 README ↗