내 역할
Unity 체험 루프, AI 파이프라인 연결, 세션 저장 구조, 운영 로그를 한 프로젝트 안에 묶었습니다.
사례 03
XR 경험 · AI 파이프라인
festival
BIFAN XR Beyond Reality
workspace_premium
과기정통부 장관 표창
너스탤지아 XR 경험과 AI 파이프라인
관객 음성을 입력으로 받아 대화, 시각 요소 생성, XR 공간 연출, 운영 대시보드까지 하나의 흐름으로 연결한 프로젝트입니다. Whisper, GPT, TTS, Skybox, Meshy를 묶어 실제 체험 가능한 흐름으로 만들었습니다. BIFAN XR Beyond Reality 선정 및 과학기술정보통신부 장관 표창 수상.
문제
관객 음성을 대화, 시각 생성, XR 장면 연출로 끊기지 않게 연결하면서 실제 전시 운영까지 감당해야 했습니다.
결과
BIFAN XR Beyond Reality 선정과 과학기술정보통신부 장관 표창으로 이어졌고, 130명 이상 참여, 6회 전시, 약 2,000명 관람 규모로 운영됐습니다.
왜 중요한가
여러 AI 구성요소를 전시형 XR 경험과 운영 대시보드까지 포함한 실제 서비스 흐름으로 묶어낸 사례입니다.
Demo Video
시연 영상
음성 인터뷰, 생성형 배경, 오브젝트 선물, 운영 로그가 하나의 XR 체험으로 이어지는 장면입니다.
Whisper
GPT
TTS
Skybox
Meshy
프로젝트 개요
문제와 적용 방식
이 프로젝트의 핵심은 관객의 음성 입력을 XR 경험 안에서 끊기지 않게 연결하는 일이었습니다.
AI는 전면 연출용으로만 쓰지 않고, 음성 인식, 대화 처리, 음성 응답, 360도 배경 생성, 3D 오브젝트 생성처럼 각 단계에 나눠 적용했습니다.
중요했던 것은 생성 결과 자체보다, 비동기 처리와 사용자별 저장 구조, 운영 관측까지 포함한 전시용 시스템을 만드는 일이었습니다.
관객 상호작용이 XR 오브젝트와 장면 흐름으로 이어집니다.
대화와 감정선이 XR 장면 안에서 자연스럽게 이어집니다.
Client Runtime
FlaskManager, SequenceManager,
SkyboxGenerator, MeshyManager,
SessionDataManager가 XR 체험 루프를 담당했습니다.
Flask Backend
Flask + SocketIO 기반 백엔드에서 /process_audio,
/process_chat, /skybox,
/generate_3d 흐름을 묶고 GCP App Engine 2개 서비스로 운영했습니다.
Ops Dashboard
React 19 + Vite 7 대시보드에서 Google OAuth, GCS 파일 트리, GLB 미리보기, 날짜별 통계, 키워드 추출, raw log 확인까지 지원했습니다.
Representative Systems
대표 구현
기억 인터뷰, 생성 파이프라인, 운영 관측이 하나의 XR 체험 안에서 이어지도록 만든 프로젝트입니다.
Memory Interview Orchestrator
기억 인터뷰 시퀀스 엔진
언어 선택, 약속 제스처, 질문 진행, 생성 완료 대기, 엄지척 전환, 브이 포즈 캡처까지 관객 입력과 생성 결과를 조건으로 연결하는 상태 기반 XR 체험 루프를 구현했습니다.
Voice-to-AI Pipeline
음성 인터뷰 파이프라인
VAD 기반 음성 청크 수집, Whisper STT, GPT function calling, 닉네임 추출, 답변 검증, 감정 기반 BGM 선택까지 이어지는 기억 인터뷰 파이프라인을 구축했습니다.
Generative XR Asset Pipeline
생성형 XR 자산 흐름
대화 로그를 Skybox와 Meshy 생성 흐름으로 변환하고, polling, 다운로드, GLB 임포트, XR 오브젝트 래핑까지 연결해 생성 결과를 실제 체험 자산으로 반영했습니다.
Session Logging
사용자별 이름, 언어, 대화 이력, Skybox와 Meshy 프롬프트, 응답 시간, 커스텀 로그를 구조화해 전시 세션 단위로 저장했습니다.
Operations Dashboard
GCS 파일 트리, GLB 미리보기, 날짜별 통계, 체험자별 로그, 키워드 추출을 보는 운영 대시보드를 따로 구축했습니다.
AI가 필요한 이유
왜 AI가 필요했는가
mic
입력 해석
관객 음성을 실시간 흐름 안에서 텍스트와 의미 단위로 나눌 필요가 있었습니다.
interests
생성 연결
대화, 배경, 오브젝트 생성이 따로 놀지 않고 하나의 경험으로 이어져야 했습니다.
monitoring
운영 관측
전시 환경에서는 결과뿐 아니라 사용자별 기록과 운영 확인 흐름도 필요했습니다.
처리 흐름
Voice Input
Whisper
GPT
TTS
Skybox / Meshy
XR / Dashboard
130명+
체험 세션
6회
국내외 전시
2,000명
누적 관람
Control / Validation
문제와 대응
문제 1. 여러 AI 서비스를 한 번에 쓰면 응답 지연과 비동기 처리 문제가 생깁니다.
대응. Webhook 기반 비동기 처리와 사용자별 저장 구조로 생성 흐름을 분리했습니다.
문제 2. 전시 환경에서는 체험 중 상태를 운영자가 확인할 수 있어야 합니다.
대응. React 대시보드로 사용자별 기록과 생성 결과를 바로 볼 수 있게 했습니다.
문제 3. 생성 결과가 경험 안에서 어색하게 분리되면 전체 체험이 깨집니다.
대응. 대화, 환경, 오브젝트 생성 결과를 하나의 흐름으로 이어 XR 경험 안에 붙였습니다.
생성된 하늘과 배경을 XR 연출 안에 연결했습니다.
사용자 반응과 생성 결과가 시각적으로 이어집니다.
Result
결과
BIFAN XR Beyond Reality 섹션에 공식 선정됐습니다.
프로젝트 완성도와 전시 가능성을 바탕으로 과학기술정보통신부 장관 표창을 받았습니다.
국내외 6회 전시와 130명+ 체험 세션, 누적 관람 2,000명 규모로 운영된 XR 사례가 됐습니다.
Flask 백엔드와 React 대시보드까지 포함한 운영 구조를 실제 전시 환경에서 검증했습니다.
BIFAN 선정
XR Beyond Reality
과기정통부 장관 표창
Recognition
AI 파이프라인 연결
Whisper · GPT · TTS · Skybox · Meshy
운영 대시보드
Google OAuth · GCS Tree · GLB Preview