좋은 답은 좋은 자료에서 — 금연 41건을 긁어오고 Opus 4.8·ultracode로 재점검한 하루

📚 「AI 헬스케어 파이널 프로젝트」 연재 9편입니다. (8편: 동작한다 ≠ 충분하다)

📝 한줄 요약

8편에서 RAG 챗봇의 뼈대와 인프라를 갖췄습니다. 이번엔 챗봇이 근거로 삼을 자료를 본격적으로 모았어요. 챗봇은 자기가 먹은 자료만큼만 똑똑하니까요. 신장학회 지침부터 금연 정보 41건을 웹에서 직접 긁어오는 일까지 했습니다. 마침 **새 AI 모델(Opus 4.8)과 새 기능(ultracode)**이 나와서, 프로젝트 전체를 다시 점검하며 숨은 버그까지 잡았습니다. 다만 그만큼 토큰(사용량)이 훅훅 줄어드는 것도 함께 체감했어요.

바쁘시면 이것만 읽어도 돼요:

깨달은 점: RAG·의료 AI는 “어떤 자료를 근거로 주느냐”가 답의 질을 좌우합니다
자동화: 필요한 금연 자료가 파일로 없어서, 웹에서 41건을 직접 긁어오는(스크랩) 스크립트로 해결했어요
점검: 자료를 막연히 모으지 않고, 우리 목표인 생활습관 5축(수분·식단·운동·수면·스트레스)에 맞춰 빈 곳을 확인했습니다
새 도구 경험: 새 모델(Opus 4.8)과 멀티 AI 기능(ultracode)으로 전체를 재점검해 숨은 보안 버그를 찾았어요. 단, 강력한 만큼 토큰이 빠르게 빠졌습니다
핵심 팁: 강력한 새 기능일수록 쓸 범위를 정하고 써야 비용이 잡힙니다

🎯 이런 분들께 도움돼요

RAG·AI 챗봇에 어떤 자료를 넣어야 할지 고민인 분
필요한 자료가 흩어져 있어 수집을 자동화하고 싶은 분
새 AI 모델·기능이 나오면 어떻게 쓰고 비용은 어떻게 관리할지 궁금한 분

😫 문제 상황 (Before)

8편에서 챗봇의 뼈대(LangGraph)와 인프라를 갖췄습니다. 그런데 RAG 챗봇의 핵심은 “무엇을 근거로 답하느냐”예요. 아무리 똑똑한 뼈대라도 근거 자료가 부실하면 답도 부실합니다. 사람으로 치면 오픈북 시험인데 책이 빈약한 셈이죠.

문제는 우리에게 필요한 자료가 — 신장학회 지침, 금연·절주·식단·운동·수면 정보 — 여기저기 흩어져 있었다는 겁니다. 어떤 건 다운로드할 파일조차 없었어요. 게다가 작업 도중 **새 AI 모델(Opus 4.8)**이 나왔습니다. 그동안의 작업을 새 눈으로 다시 봐야 할 타이밍이기도 했죠.

🛠️ 사용한 도구

도구: Claude Code
모델: Claude Opus 4.8 (이날 업그레이드)
특이사항: 웹 자료를 긁어오는 수집 조수로 쓰고, 새 기능 ultracode(여러 AI가 동시에 여러 관점으로 점검)로 프로젝트를 재점검하는 검수팀으로도 활용

🔧 작업 과정

1) “챗봇은 자료만큼만 똑똑하다” — 신뢰 자료부터 모으기

먼저 챗봇이 근거로 삼을 공신력 있는 자료를 찾았습니다.

추가 자료 검색에 대해서 확인
KSN(신장학회) 진료지침 2종도 같이 확보하자
질병관리청 / 암센터 / 정신건강 자료 링크 확인해줘

AI가 신장학회 진료지침과 공공기관 건강자료를 탐색·확보했어요. 직접 받기 어려운 건 제가 받을 수 있게 링크를 정리해줬습니다. 좋은 답은 좋은 자료에서 나옵니다. RAG에선 이게 전부예요.

💡 챗봇의 똑똑함은 자료의 질에서 시작됩니다. 모델을 바꾸기 전에 자료부터 점검하세요.

2) 자료가 파일로 없으면? — 웹에서 직접 긁어오기

금연 정보는 좋은 자료가 웹페이지에 흩어져 있었습니다. 다운로드 파일이 없었어요. 그래서 직접 긁어오기로 했습니다.

금연은 nosmokeguide.go.kr 의 41건을 직접 스크랩하면 좋을 것 같은데
이 사이트가 접근성이 더 좋은 것 같은데 확인해줘
41건에 각각 출처가 있던데 거기서 참고할 만한 건 없나?

AI가 41건을 자동으로 긁어오는 스크립트를 만들어 한 번에 수집했습니다. 손으로 41번 복사·붙여넣기 할 일을 코드 한 번으로 끝낸 거죠. “파일로 없으면 못 쓴다”가 아니라 “없으면 만들어서 가져온다”가 됩니다.

💡 다운로드 버튼이 없어도 포기하지 마세요. 웹에 펼쳐진 자료는 자동 수집으로 가져올 수 있습니다.

3) 막연히 모으지 않고 — 목표(5축)에 맞춰 점검

자료를 무작정 쌓는 건 의미 없습니다. 우리 서비스의 생활습관 챌린지는 5가지 축으로 나뉘어 있어서, 거기에 맞춰 점검했어요.

우리 생활습관 챌린지는 수분섭취, 식단, 운동, 수면, 스트레스 5가지로 나눠져 있는데
이를 활용할 수 있는 자료들이 준비됐다고 볼 수 있나?
절주 자료에서는 참고할 만한 출처가 있었어?

AI가 5축별로 확보한 자료를 매핑해서 “어디가 충분하고 어디가 빈약한지” 보여줬어요. 덕분에 부족한 축(절주 같은)을 골라 보강할 수 있었습니다. 수집의 기준은 양이 아니라 목표 커버리지였어요.

💡 자료는 쌓는 게 아니라 채우는 겁니다. “얼마나 모았나”가 아니라 “목표의 어느 칸이 비었나”로 보세요.

4) 새 모델 + ultracode로 전체 재점검 — 그리고 토큰의 교훈

마침 새 모델(Opus 4.8)이 나왔습니다. 그동안의 작업을 새 눈으로 다시 보기로 했어요.

오푸스 4.8 버전이 새로 나왔으니 지금까지 계획했던 프로젝트를 다시 한번 점검해보자
점검을 통해서 수정해야 되는 사항은 없었어?

여기서 새 기능 ultracode를 써봤습니다. 쉽게 말하면 여러 AI 일꾼을 동시에 풀어서 보안·품질·설계 같은 여러 관점으로 한꺼번에 점검하게 하는 기능이에요. 덕분에 혼자선 놓쳤을 **숨은 보안 버그(인증 토큰 관련)**까지 잡아냈습니다.

그런데 분명한 교훈도 함께 얻었어요. 이렇게 강력한 기능은 그만큼 토큰(사용량·비용)이 빠르게 줄어듭니다. 여러 AI가 동시에 일하니 당연하죠. 그래서 “전부 다”가 아니라 “점검할 범위를 정해서” 쓰는 게 현명하다는 걸 몸으로 느꼈습니다.

💡 강력한 도구일수록 고삐가 필요합니다. 멀티 AI 점검은 세지만 비용도 셉니다. 범위를 먼저 정하세요.

5) 우선순위 재정렬 + 역할 정리

재점검을 계기로 일의 순서와 역할도 다시 정리했어요.

(1) RAG 작업은 가장 나중에 더 자세히 하고, 우선은 (2)부터
(나) 팀원이 ML 담당, 결정·문서로만 정리

RAG는 심화 단계로 미루고, ML은 팀원 담당으로 분리해 핸드오프(인수인계) 문서로 정리했습니다. 팀장으로서 내가 다 하지 않고 잘 나눠 맡기는 정리였어요.

💡 재점검은 코드만 다듬는 게 아닙니다. 일의 순서와 역할을 다시 짤 좋은 기회예요.

✅ 결과 (After)

Before vs After

항목	Before	After
근거 자료	흩어짐, 일부는 파일도 없음	신장학회 지침 + 금연 41건 스크랩 + 공공자료 확보
자료 점검	”많이 모으면 되겠지”	5축 커버리지로 빈 곳 식별·보강
코드 품질	잠재 버그	새 모델+ultracode 재점검으로 보안 버그 수정
역할/순서	뒤섞임	우선순위 재정렬 + ML/FE 핸드오프 정리

결과물

인덱싱용 의료 자료 세트 (지침 + 금연 41건 + 공공자료)와 수집 스크립트
5축 커버리지 점검과 부족분 보강
전체 재점검 결과 (보안 버그 수정)와 ML·FE 핸드오프 문서

💬 이 과정에서 배운 AI 활용 팁

효과적이었던 것

자료가 없으면 긁어오게 시키세요 — 다운로드 파일이 없어도 웹에서 자동 수집하면 됩니다. 41건이 한 번에 들어왔어요.
수집은 목표 커버리지로 점검하세요 — 양이 아니라 “우리 목표의 어느 부분이 채워졌나”로 보세요.
새 모델·기능이 나오면 재점검하세요 — 새 눈으로 보면 숨은 버그가 보입니다. “그동안 한 거 다시 점검해줘”가 좋은 습관이에요.
강력한 기능은 범위를 정해 쓰세요 — ultracode처럼 여러 AI가 동시에 일하는 기능은 강력하지만 토큰이 빨리 줄어요. 점검 범위를 정하고 쓰세요.

이렇게 하면 안 돼요

자료를 막연히 쌓지 마세요 — 목표와 연결 안 된 자료는 챗봇의 답을 오히려 흐립니다.
강력한 기능을 무제한으로 돌리지 마세요 — “전체 자동 점검”은 편하지만 비용이 훅 나갑니다. 범위와 횟수를 정하세요.

🌍 다른 업무에 적용한다면?

자료 조사·리서치: 필요한 정보가 웹에 흩어져 있으면 “이 목록을 자동으로 수집해줘”로 시간을 아끼세요.
품질 점검: 큰 문서나 프로젝트는 “여러 관점으로 한꺼번에 점검”이 유용합니다. 다만 비용을 생각해 핵심 범위부터 돌리세요.

🚀 앞으로의 계획

자료도 모았고, 뼈대와 인프라도 튼튼해졌고, 코드도 재점검으로 단단해졌습니다. 이제 정말 만들 차례예요.

다음 편(10편)에서는, 드디어 모은 자료를 챗봇에게 먹이고(인덱싱) 실제로 질문하면 근거를 찾아 답하게(추론) 만듭니다. 그 과정에서 모르는 개념이 나올 때마다 “왜?”만 물으며 RAG·임베딩·벡터DB를 진짜로 이해하게 된 이야기를 풀어볼게요.

📋 재사용 가능한 프롬프트

프롬프트 1: 웹 자료 자동 수집(스크랩)

[사이트/페이지]에 흩어져 있는 [자료 종류] [N]건을 자동으로 수집하고 싶어. 각 항목의 본문과 원출처를 함께 가져오고, 한 폴더에 정리해줘. (가능하면 접근성이 더 좋은 대체 사이트도 같이 확인해줘.)

프롬프트 2: 자료를 목표 기준으로 점검(커버리지)

지금까지 모은 자료가, 우리 목표인 [핵심 항목들, 예: 수분·식단·운동·수면·스트레스]를 각각 충분히 커버하는지 매핑해서 점검해줘. 어느 항목이 부족한지 알려주고, 보강할 자료의 방향도 제안해줘.

프롬프트 3: 새 모델/도구로 전체 재점검(범위 지정)

새 모델(도구)이 나왔으니 그동안의 [프로젝트/문서/코드]를 다시 점검하고 싶어. 단, 비용을 고려해 [점검 범위, 예: 보안·핵심 로직]에 한정해서, 우선순위가 높은 문제부터 찾아줘. 발견한 문제는 영향도와 함께 정리해줘.

📌 「AI 헬스케어 파이널 프로젝트」 연재 9편입니다. 다음 막에서 또 이어집니다.