AGENT PM 포트폴리오 · 더코디 AI 성분 케어

영양제 성분 중복·과잉을 확인해 주는 챗봇을 "어디까지 답하고 어디서 멈출지"부터 정해 만든 PM 프로젝트

건강기능식품 스마트스토어(비타에비뉴) 고객이 복용 중인 제품의 성분 합산이 하루 최대 섭취량을 넘는지 확인하는 사이트와 챗봇입니다. 서비스 원칙, 상담 시나리오, 규제 기준, 평가를 정하고 결과를 검수하는 일을 맡았습니다. 서비스 런칭 전이고, 코드는 Claude Code와 함께 만들었습니다.

역할기획, PM, 평가·검수 판단. 개발은 Claude Code와 협업(직접 코딩하지 않음)
기간2026-08 착수, 진행 중(사이트 챗봇 운영, 카카오톡은 런칭 전)
도구Next.js(Vercel), Python 백엔드(Render), Supabase, Claude API(의도분류), 카카오톡 채널, GitHub Issues

핵심 숫자

17 / 25필수 산출물 완료(진행 5, 대기 2, 해당 없음 1).progress.md (2026-11-16 갱신)
315건커밋 (2026-08-01 ~ 2026-11-18)git log
172건GitHub 이슈 등록(종료 108건)GitHub Issues 조회 (2026-11-19)
37개상담 처리 경로(코드와 문서 일치를 자동 대조)상담시나리오정의서 v1.94, 1.5절
384 / 384회귀 시험 경로 정확도. 품질 지표가 아닙니다평가결과보고서, run_eval.py (2026-11-18)
11 / 30처음 본 질문 30개의 첫 통과(통과 11, 부분 6, 실패 13)평가결과보고서 1.5절

문제 정의

처방약과 영양제를 여러 개 챙겨 먹는 40대 이상 고객이 성분 중복과 과잉을 편하게 물어볼 곳이 필요했습니다. 무조건 긍정적으로 답하는 범용 AI와 달리, 실제로 과잉이면 지적하는 "정직한 피드백"을 핵심 원칙으로 정했습니다. 반대로 처방약 상호작용 판단과 효능을 말하는 답은 의료법상 문제가 되므로 금지 범위로 두고, 모든 답에 면책 문구를 넣기로 했습니다. 그래서 "답이 안 가는 것은 괜찮고, 잘못 가면 책임 문제"라는 기준을 세우고, 설계와 평가를 "답하지 않는 쪽"에 맞췄습니다.

화면별 기획 의도

PM으로서 한 일

서비스 원칙과 범위 정의

"정직한 피드백", 처방약 상호작용 판단과 처방성 답변 금지, 모든 답에 면책 문구라는 원칙을 정하고 기능명세와 평가에 연결
카카오 런칭 시점 미정, 사이트 챗봇 추가, 구매이력(개인정보)은 사이트에서 제외하는 운영 결정

상담 시나리오와 규제 기준

처리 경로 37개와 인텐트, 경계 사례, 처리 순서를 정의하고 경로 등록표를 코드와 자동 대조
외부 AI 전송 가부, 금지 표현, 화면 고지를 요건으로 정리해 코드와 평가에 연결

평가와 개선 사이클

코드 수정에 쓰는 회귀 시험과 수정에 쓰지 않은 "처음 본 질문"을 따로 두고, 기대 동작은 실행 전에 서비스 원칙으로 기록
실패 유형별로 경로와 규칙을 추가한 뒤 같은 방식으로 다시 측정

문서와 이슈로 추적

산출물 25종을 진행 상태표와 검증 규칙(Gate-Check)으로 관리하고 주간보고서를 14회 작성
코드와 문서를 같은 날 고치는 현행화 규칙을 세우고, 어긋난 문서를 점검해 바로잡음(2026-10-26)

의사결정 사례

01

AI 문장 생성을 기본 꺼짐으로 바꾼 일

AI 답변을 직접 읽어 보니 엉뚱한 답이 나올 때가 있었습니다. 실제 AI로 42개를 점검했더니 복용했다고 단정하는 표현이 3건, 분석 결과에 없는 설명이 9건 나왔습니다. 에어캐나다 챗봇 사례와 금융권 챗봇을 다룬 강의를 보면서, 규제가 있는 서비스에서는 틀린 답이 바로 책임 문제가 된다는 것을 알게 됐습니다. 그래서 잘못된 답이 나가는 것보다 답을 못 하는 편이 안전하다고 판단하고, AI가 문장을 쓰는 기능을 기본 꺼짐으로 바꿨습니다. "괜찮아져요" 같은 확증 표현이 든 답은 전체를 고정 거절문으로 바꿉니다. 시험용 확증 문장은 고치기 전에 14개 중 12개가 그대로 나갔고, 고친 뒤 17개를 모두 막았습니다. 저장해 둔 실제 AI 답 91개에서 잘못 막은 것은 0건이었습니다.

02

100%를 믿지 않고 새 질문으로 다시 잰 일

평가셋 경로 정확도가 384/384로 100%가 나왔지만 믿기 어려웠습니다. 말투를 조금만 바꾸거나 "이런 것까지 물어볼까" 싶은 질문을 넣으면 거의 제대로 답하지 못했기 때문입니다. 그 평가셋은 틀린 것을 고치고 문항을 더해 온 시험이라 품질 지표가 아니라 회귀 시험으로 구분했습니다. 그래서 수정에 쓰지 않은 처음 본 질문 30개를 어려운 질문, 복합 질문, 애매한 질문으로 따로 만들었고, 첫 결과는 통과 11, 부분 6, 실패 13(37%)이었습니다. 예상한 결과였습니다. 실패 대부분은 정해진 경로가 없던 질문(불만과 신고, 출처, 모르는 정보)이어서 유형별로 경로와 규칙을 추가했고, 이후에도 새 질문 세트를 2차 30개, 3차 5개, 4차 말투 변형 70개로 계속 만들어 다시 쟀습니다. 같은 질문으로 다시 쟀을 때 30/0/0이 나왔지만 수정에 쓴 질문이라 품질 점수로 쓰지 않습니다.

03

강의 흐름대로 벡터 검색을 재 보고 도입하지 않은 일

강의에서 임베딩, 청킹, 랭그래프로 이어지는 흐름을 배워서 같은 방식을 우리 서비스에 적용해 보려고 했습니다. KDRI 본책 799조각에서 글자 비교(BM25), 벡터, 하이브리드, 리랭킹을 같은 정답 문항 30개로 쟀습니다. 첫 번째 정답률(Recall@1)은 BM25 0.833, 벡터 0.700~0.867, 하이브리드 0.767, 리랭킹 0.867이었습니다. 이득이 한 문항 수준이라 우연과 구분되지 않았고 운영 서버 부담도 커서, 결과대로 BM25를 유지했습니다. 가장 큰 효과는 방식이 아니라 질문을 영양소로 먼저 좁히는 것이었고(벡터 0.700에서 0.867), 문서를 구조에 맞게 자른 쪽이 고정 120자보다 좋았습니다(0.700 대 0.500). 측정하면서 알게 된 것은, 정답이 있는 영양소 정보 질문 말고도 사용자의 말투 때문에 가드레일에 걸리는 문장이 너무 많다는 점이었습니다. 그래서 검색 방식 비교와 별개로, 질문을 분류하고 걸러 내는 규칙을 다듬는 일이 계속 이어졌습니다.

04

개인정보 부담을 지지 않도록 범위를 줄인 일

규제가 강한 분야라서 개인정보 부담까지 지고 싶지 않았습니다. 구매이력 조회는 사이트에서는 본인 확인 수단이 없어 기능에서 뺐고, 카카오톡은 런칭 전이라 계산 부분만 만들었습니다. 개인정보 위반으로 처벌받는 사례가 많아서, 외부 AI에는 의도분류만 보내고 보내기 전에 전화번호, 이메일, 카드번호를 가립니다. 사이트에서는 이름과 연락처를 요구하지 않고 입력한 문장도 저장하지 않습니다. 이름은 아직 가리지 못해서, 처리 방식을 정해야 하는 항목으로 남아 있습니다.

회고

잘한 점AP-Framework로 시작해, 진행 중에 강의 교안의 평가 방식을 더하면서 한 가지만 바꿔 이전과 이후를 같은 질문으로 비교했습니다. 예를 들어 같은 코드에서 AI 의도분류 설정 하나만 바꿨더니, 새 질문 90개 중 올바른 경로로 간 것이 55개(61%)에서 88개(98%)가 됐습니다. 바꾼 것의 효과가 숫자로 보이고 품질이 좋아지는 것이 느껴질 때가 가장 보람 있었습니다.
아쉬운 점아직 런칭 전이라 실제 고객 질문과 운영 성과가 없습니다. 평가에 쓴 질문은 제가 만든 것이 중심이라 실제 고객의 질문과 다를 수 있고, 합격 목표 수치도 아직 정하지 못했습니다. 규제 해석은 법규 원문을 읽고 정리한 것이라 전문가 확인을 받지 못했습니다. 프로젝트는 계속 진행 중이며, 이 부분들을 채워 가려고 합니다.
배운 점디테일한 검수가 품질이라는 것을 배웠습니다. 숫자 검사를 통과해도 AI 답변을 한 개씩 읽어 보니 복용했다고 단정하는 표현과 분석 결과에 없는 설명이 나왔습니다. 낱말 검사는 사람이 찾은 위반 6건 중 2건만 잡았습니다. 점수가 100%여도 직접 읽고 확인하는 일을 뺄 수 없다고 생각합니다.