요약
•
AI와 VR 기술을 활용한 몰입도 높은 화재 안전 교육 게임 '화재탈출: 아이봇' 개발. GPT 모델, Whisper AI, Oculus SDK, Unity 엔진을 사용하여 실감나는 가상 환경과 자연스러운 AI 상호작용을 구현했습니다.
역할
•
6인 팀(기획자, 디자이너, 개발자 4인)의 프로젝트 리더로 참여
•
기획 및 설계 주도 (기여도 60%)
•
AI 기반 대화 시스템 개발 및 구현 (기여도 90%)
•
VR 인터랙션 구현 (기여도 100%)
성과
•
GPT 모델과 Whisper AI를 활용한 자연스러운 음성 기반 AI 대화 시스템 구현
•
Oculus SDK를 활용한 핸드 트래킹 기능으로 게임 몰입도 향상
•
NUnit을 활용한 20여 개의 유닛 테스트 작성으로 핵심 기능의 안정성 확보
시기
•
2023.06 - 2023.08 (약 3개월)
AI 기반 실시간 대화 시스템
GPT-4와 Whisper AI를 활용하여 실시간으로 상호작용하는 AI 캐릭터를 구현했습니다. 이 시스템은 사용자의 음성 입력을 텍스트로 변환한 후, GPT 모델을 통해 상황에 맞는 응답을 생성합니다.
자연어 처리 능력을 강화하기 위해 Pinecone VectorDB를 도입하여 캐싱 시스템을 구축했습니다. 이를 통해 AI의 응답 속도를 50% 이상 향상시켰으며, 동시에 맥락을 고려한 일관성 있는 대화를 가능하게 했습니다.
사용자는 마치 실제 요구조자와 대화하는 것처럼 자연스럽게 정보를 얻고 문제를 해결할 수 있습니다. 이는 기존의 일방향적인 안전 교육과 달리, 개인화된 상호작용을 통해 학습 효과를 크게 높입니다.
sequenceDiagram
participant 플레이어
participant 게임 인터페이스
participant 게임 시스템
participant AI 서버
participant 게임 월드
플레이어->>게임 인터페이스: 음성 입력
게임 인터페이스->>게임 시스템: 메시지 변환
게임 시스템->>게임 월드: 현재 상태 확인
게임 월드-->>게임 시스템: 상태 정보 제공
게임 시스템->>AI 서버: 메시지와 상태 정보 전송
AI 서버-->>게임 시스템: AI 응답 및 행동 지시
게임 시스템->>게임 월드: AI 행동 실행
게임 월드-->>게임 시스템: 변경된 상태 보고
게임 시스템->>게임 인터페이스: AI 응답 표시
게임 인터페이스-->>플레이어: AI 응답 및 게임 상태 업데이트Mermaid
복사
이 다이어그램은 사용자가 게임 속 AI와 자연스럽게 대화하는 과정을 보여줍니다. 사용자의 말을 게임이 이해하고, AI가 상황에 맞는 대답을 하며, 이에 따라 게임 세계가 변화합니다. 이를 통해 더 실감나고 교육적인 화재 안전 체험이 가능해집니다.
직관적인 VR 인터랙션 시스템 개발
Unity 엔진과 Oculus SDK를 활용하여 현실감 넘치는 VR 화재 시뮬레이션을 구현했습니다. 시간에 따른 화재 진행, 연기 효과 등을 세밀하게 구현하여 사용자에게 실제 화재 상황과 유사한 경험을 제공합니다.
핸드 트래킹 기술을 도입하여 사용자가 직관적으로 가상 환경과 상호작용할 수 있도록 했습니다. 이를 통해 캐릭터와 상호작용 하거나 환경을 탐색하는 등의 행동을 실제처럼 수행할 수 있어, 훈련의 효과성을 크게 높였습니다.
VR 렌더링 최적화 기법 적용
VR 환경의 높은 렌더링 요구사항을 충족시키기 위해 다양한 최적화 기법을 적용했습니다. 먼저 코드 프로파일링을 통해 성능 병목 지점을 정확히 식별하고 개선했습니다. 특히 정적 배칭과 커스텀 쉐이더를 활용하여 렌더링 성능을 대폭 향상시켰습니다.
정적 배칭을 통해 드로우 콜을 50% 이상 줄여 CPU 부하를 크게 감소시켰고, 커스텀 쉐이더를 개발하여 홀로그램 효과의 사실성을 높이면서도 렌더링 부하를 최소화했습니다.
이러한 최적화 기법을 통해 72Hz 이상의 안정적인 프레임 레이트를 달성했습니다. 결과적으로 사용자는 어지러움이나 멀미 없이 장시간 VR 체험을 즐길 수 있게 되었고, 이는 교육 효과의 증대로 이어졌습니다.