AI 심리 상담 시스템

말 이외의 신호

대화 내용만으로는 드러나지 않는 반응을 함께 다뤄보고 싶었습니다. 웹캠 표정 인식, 음성 대화, 아두이노 심박 센서를 하나의 상담 세션으로 엮은 프로토타입입니다.

세션은 순서대로 진행됩니다. 먼저 카메라가 몇 초간 표정을 읽습니다. 얼굴 랜드마크의 입꼬리와 입 벌어짐 같은 좌표 규칙으로 네 가지 상태를 판정합니다. 이어서 사용자가 말하면 한국어 음성 인식으로 받아 적고, 방금 읽은 표정과 발화, 지금까지의 대화 이력을 함께 언어 모델에 넘깁니다. 응답은 음성 합성으로 돌아옵니다. 상담 응답이 반드시 사용자의 표정을 언급하도록 프롬프트에 강제해, 관찰이 대화에 반영되고 있다는 걸 사용자가 느끼게 했습니다.

리포트에서 만나는 세 입력

대화가 끝나면 아두이노가 심박을 수집하고 온습도를 읽습니다. 그리고 대화 이력, 턴마다의 표정, 생체신호를 하나의 프롬프트로 요약해, 심박 그래프와 함께 PDF 리포트로 저장합니다. 세 입력은 세션이 끝난 뒤 한 장의 기록에서 만납니다.

서로 다른 속도로 들어오는 입력을 하나의 세션 흐름 안에 배치하는 순서 설계가 이 작업의 내용이었습니다.

이 작업은 의료 진단이나 전문 상담을 제공하지 않습니다. 여러 감각 입력에 반응하는 대화 경험이 가능한지 확인한 프로토타입입니다.