k777agent 님의 블로그

[빅데이터] 빅데이터 강의요약(2)

k777agent — Thu, 24 Jul 2025 05:52:28 +0900

빈발 패턴 분석이란 무엇일까요?

가장 쉽게 설명하자면, "무엇이 자주 함께 나타나는가?"를 찾아내는 것입니다. 예를 들어, 마트에서 고객들이 어떤 상품들을 자주 함께 구매하는지 분석하는 것이 대표적인 빈발 패턴 분석의 응용 사례입니다.

이렇게 데이터 집합에서 자주 나타나는 패턴을 빈발 패턴이라고 부릅니다. 이 빈발 패턴은 데이터 간의 흥미로운 연관성과 상관관계를 파악하는 데 핵심적인 역할을 합니다.

어디에 활용될까요?

빈발 패턴 분석은 실생활의 다양한 분야에서 활용됩니다.

장바구니 분석(Market Basket Analysis): 마트에서 "이 상품을 산 사람은 저 상품도 산다!"는 규칙을 발견하여 상품 진열, 프로모션 전략 수립에 활용합니다.
교차 마케팅(Cross-Marketing): 특정 제품을 구매한 고객에게 연관성이 높은 다른 제품을 추천하여 판매를 증대시킵니다.
카탈로그 디자인: 함께 구매되는 상품들을 묶어 카탈로그를 구성하여 고객의 구매 편의성을 높입니다.
웹 로그 분석: 웹사이트에서 사용자들이 어떤 페이지를 연달아 방문하는지 분석하여 웹사이트 구조 개선이나 콘텐츠 추천에 활용합니다.
DNA 서열 분석: 유전자 서열에서 특정 패턴을 찾아 질병과의 연관성을 연구하는 등 생명 공학 분야에서도 중요한 역할을 합니다.

핵심 개념 파헤치기: 연관 규칙, 지지도, 신뢰도

빈발 패턴 분석의 꽃은 바로 연관 규칙(Association Rule)입니다. 연관 규칙은 함께 자주 구매되는 품목들의 패턴을 명확하게 표현하는 방식입니다.

예를 들어, "컴퓨터를 구매한 고객은 안티바이러스 소프트웨어도 함께 구매하는 경향이 있다"는 정보는 다음과 같은 규칙으로 나타낼 수 있습니다.

computer ⇒ antivirus_software [support = 2%, confidence = 60%]

여기서 computer는 전제(antecedent), antivirus_software는 결과(consequent)를 의미합니다. 그리고 이 규칙이 얼마나 '흥미로운지'를 판단하는 중요한 지표가 바로 지지도(Support)와 신뢰도(Confidence)입니다.

지지도 (Support)

지지도는 전체 거래 중 특정 아이템 집합(A와 B 모두)을 포함하는 거래의 비율을 나타냅니다.

위 예시에서 지지도가 2%라는 것은 전체 거래의 2%에서 컴퓨터와 안티바이러스 소프트웨어가 함께 구매되었음을 의미합니다. 지지도가 높을수록 해당 패턴이 데이터에서 자주 나타난다는 뜻입니다.

신뢰도 (Confidence)

신뢰도는 아이템 A를 포함하는 거래 중에서 아이템 B도 함께 포함할 조건부 확률입니다. 즉, A를 구매했을 때 B도 함께 구매할 확률을 나타냅니다.

위 예시에서 신뢰도가 60%라는 것은 컴퓨터를 구매한 고객 중 60%가 안티바이러스 소프트웨어도 구매했음을 의미합니다. 신뢰도가 높을수록 전제가 발생했을 때 결과가 발생할 가능성이 높다는 것을 의미합니다.

연관 규칙은 사용자가 설정한 최소 지지도(min_sup)와 최소 신뢰도(min_conf) 기준을 만족할 때 비로소 '흥미로운' 규칙으로 간주됩니다.

빈발 아이템 집합과 마이닝 프로세스

빈발 아이템 집합 (Frequent Itemset)

하나 이상의 아이템으로 구성된 집합을 아이템 집합(Itemset)이라고 부릅니다. 이 아이템 집합의 지지도가 최소 지지도(min_sup) 문턱값 이상일 때를 빈발 아이템 집합이라고 합니다.

연관 규칙 마이닝 프로세스

연관 규칙을 발견하는 과정은 크게 두 단계로 이루어집니다.

모든 빈발 아이템 집합 찾기: 설정한 최소 지지도를 만족하는 모든 아이템 집합을 찾아냅니다.
강력한 연관 규칙 생성: 찾아낸 빈발 아이템 집합으로부터 최소 신뢰도 기준을 만족하는 '강력한' 연관 규칙을 생성합니다.

마이닝의 과제와 해결책

빈발 패턴 분석은 매우 강력하지만, 한 가지 중요한 과제가 있습니다. 바로 '너무 많은' 빈발 아이템 집합이 생성될 수 있다는 점입니다. 만약 최소 지지도를 낮게 설정하면, 상상할 수 없을 정도로 많은 수의 빈발 아이템 집합이 생성되어 분석이 불가능해질 수 있습니다. 예를 들어, 길이가 100인 빈발 아이템 집합은 무려 약 1.27 * 10^{30}개의 부분집합을 가질 수 있습니다.

이러한 문제를 극복하기 위해 닫힌 빈발 아이템 집합(Closed Frequent Itemset)과 최대 빈발 아이템 집합(Maximal Frequent Itemset) 개념을 사용합니다.

닫힌 아이템 집합 (Closed Itemset): 자신과 동일한 지지도를 갖는 상위 아이템 집합(super-itemset)이 존재하지 않는 아이템 집합입니다. 불필요한 중복을 줄여줍니다.
최대 아이템 집합 (Max-Itemset): 자신을 포함하는 더 큰 빈발 상위 아이템 집합이 존재하지 않는 빈발 아이템 집합입니다. 가장 대표적인 빈발 패턴만 남겨두어 분석의 효율성을 높입니다.

하향 폐쇄 속성 (Downward Closure Property)

빈발 아이템 집합에는 매우 중요한 속성이 있습니다. 바로 하향 폐쇄 속성(Downward Closure Property)입니다. 이 속성은 "빈발 아이템 집합의 모든 부분집합은 반드시 빈발하다"는 원칙을 의미합니다.

예를 들어, {맥주, 기저귀, 견과류}가 빈발한 아이템 집합이라면, 이 집합의 부분집합인 {맥주, 기저귀} 또한 반드시 빈발해야 합니다. 이 속성은 비효율적인 후보 아이템 집합을 미리 제거하여 탐색 과정을 최적화하는 데 핵심적으로 사용됩니다.

확률 이론과의 연결고리: 지지도와 신뢰도의 이해

연관 규칙의 지지도와 신뢰도는 근본적으로 확률 개념에 기반합니다. 특히, 조건부 확률(Conditional Probability)은 신뢰도를 이해하는 데 필수적입니다. 조건부 확률은 어떤 증거(사건)가 주어졌을 때 특정 사건의 확률을 의미합니다.

또한, 베이즈 정리(Bayes' Rule)는 새로운 증거를 기반으로 기존 확률을 업데이트하는 데 사용되는 핵심적인 정리입니다.

베이즈 정리 공식

: 사후 확률(Posterior), B가 발생했을 때 A가 발생할 확률
: 우도(Likelihood), A가 발생했을 때 B가 발생할 확률
: 사전 확률(Prior), B가 발생하기 전 A가 발생할 확률
: 정규화 팩터(Normalization factor), B가 발생할 전체 확률

베이즈 정리는 질병 진단과 같이 불확실성을 다루는 의사결정에서 매우 중요하게 활용됩니다. 예를 들어, 특정 검사가 95% 정확하다고 해도, 질병의 희귀도(사전 확률)에 따라 검사 결과가 양성이어도 실제 병에 걸렸을 확률은 예상보다 훨씬 낮을 수 있습니다. 이는 우리가 통계와 확률을 이해하는 데 있어 직관이 항상 옳지 않을 수 있음을 보여줍니다.

[빅데이터] 빅데이터 강의 요약(1)

k777agent — Thu, 17 Jul 2025 16:58:45 +0900

데이터는 우리 삶 곳곳에 존재하며, 웹사이트부터 전자상거래, 금융 거래, 소셜 네트워크까지 우리가 상호작용하는 모든 곳에서 끊임없이 수집됩니다. 이러한 데이터는 단순히 숫자의 나열이 아니라, 그 안에 가치와 지식을 담고 있기에 "데이터는 힘이다(Data is Power)"라고 불릴 만큼 중요합니다. 구글, NSA, 바이두, 페이스북과 같은 거대 기업들은 이미 페타바이트(PB)에서 엑사바이트(EB)에 이르는 방대한 데이터를 저장하고 매일 엄청난 양의 데이터를 처리하고 있습니다.

빅데이터, 과연 무엇일까요?

빅데이터는 기존의 데이터 처리 방식으로는 다루기 어려운, 너무나 크고 복잡한 데이터 집합을 의미합니다. 이러한 빅데이터는 주로 3V + 1ML이라는 특징으로 설명됩니다.

Volume (양): 데이터의 규모가 페타바이트(PB) 또는 엑사바이트(EB) 단위에 이릅니다.
Velocity (속도): 데이터가 매일 테라바이트(TB) 또는 페타바이트(PB) 단위로 빠르게 생성되고 처리됩니다.
Variety (다양성): 정형화된 데이터뿐만 아니라 비정형, 반정형 등 다양한 형태의 데이터를 포함합니다.
+ Machine Learning (기계 학습): 이러한 방대한 데이터를 효과적으로 다루고 분석하기 위해 기계 학습 기술이 필수적입니다.

데이터 마이닝: 데이터 속 숨겨진 보물 찾기

그렇다면 이렇게 방대한 데이터 속에서 유의미한 가치를 어떻게 찾아낼 수 있을까요? 바로 데이터 마이닝을 통해서입니다. 데이터 마이닝은 대규모 데이터에서 유용한 지식과 패턴을 추출하는 과정을 말합니다. 이를 위해 데이터는 저장(Stored)되고, 관리(Managed)되며, 분석(Analyzed)되어야 합니다. 이 과정에서 특히 '분석'에 초점을 맞추게 됩니다.

데이터 마이닝은 빅데이터, 예측 분석(Predictive Analytics), 데이터 과학(Data Science)과 유사한 개념으로 사용되곤 합니다. 궁극적인 목표는 데이터로부터 유효하고(Valid), 유용하며(Useful), 예상치 못했고(Unexpected), 이해 가능한(Understandable) 패턴 및 모델을 발견하는 것입니다.

데이터 마이닝의 주요 작업은 크게 두 가지로 나뉩니다:

기술적 방법(Descriptive methods): 데이터의 특징을 설명하는 패턴을 발견합니다 (예: 클러스터링을 통한 고객 그룹 분류).
예측적 방법(Predictive methods): 미래 값을 예측합니다 (예: 넷플릭스나 왓챠와 같은 추천 시스템).

빅데이터 분석: 실제 세상에 적용하기

빅데이터 분석은 데이터를 수집 → 분석 → 인덱싱 → 결과 도출의 과정을 거쳐 실제 문제 해결에 적용하는 것을 의미합니다. 소셜 미디어 분석, 감성 분석(예: 아이폰에 대한 소비자 평가 분석) 등 다양한 응용 분야에서 활용됩니다.

빅데이터 분석은 단순히 하나의 독립적인 분야가 아니라, 데이터베이스, 머신러닝/딥러닝, 통계학, 인공지능(AI), 컴퓨터 과학 이론 등 다양한 학문 분야와 밀접하게 연관되어 있습니다. 특히, 대규모 데이터 분석에서는 확장성(Scalability), 효율적인 알고리즘, 최적의 컴퓨팅 아키텍처, 그리고 대규모 데이터 처리 자동화가 매우 중요하게 강조됩니다.

결론적으로, 빅데이터는 단순히 큰 데이터 덩어리가 아니라, 그 속에 숨겨진 가치를 찾아내고 활용하여 새로운 통찰력을 얻을 수 있는 강력한 도구입니다. 데이터의 중요성을 이해하고, 데이터 마이닝을 통해 유의미한 패턴을 발견하며, 빅데이터 분석을 통해 실제 문제에 적용하는 것이 미래 경쟁력의 핵심이 될 것입니다.

[캡스톤] 캡스톤 프로젝트 회고: 끈기와 성장을 통해 이뤄낸 가상 피팅 서비스 개발 여정

k777agent — Thu, 3 Jul 2025 18:32:57 +0900

안녕하세요! 2025년 6월 11일, 약 3개월간의 대장정이었던 4학년 졸업 작품, 캡스톤 프로젝트를 성공적으로 마무리했습니다. 졸업논문과도 이어지는 프로젝트였던 만큼 정말 많은 노력을 쏟아부었는데요. 이번 포스팅에서는 그동안의 여정을 되돌아보며 느꼈던 점들을 솔직하게 공유해 보려고 합니다.

팀장으로서의 고민, 그리고 새로운 도전

저는 이번 프로젝트에서 팀장을 맡았습니다. 팀을 이끌어야 하는 자리였기에, 개인적으로 가장 하고 싶었던 프런트엔드 개발을 우선시할 수 없었던 점이 처음에는 아쉽게 느껴졌습니다. 하지만 팀원들의 역량이 최대한 빛을 발하도록 돕는 것이 팀장으로서의 중요한 역할이라고 생각했습니다.

그래서 저는 프런트엔드와 팀원들이 구현한 기능들을 백엔드에서 원활하게 처리하고 프런트엔드에서 작동될 수 있도록 연동하는 작업을 담당했습니다. 또한, 서비스의 핵심 기능인 가상 이미지 합성 프로그램 구현에도 집중했습니다. 비록 제가 선호하는 분야는 아니었지만, 팀 전체의 목표 달성을 위해 새로운 도전을 하는 과정에서 많은 것을 배우고 성장할 수 있었습니다.

"모르는 건 잘못이 아니다" 함께 배우고 성장한 우리 팀

저희 프로젝트의 주제는 "가상 피팅 서비스를 위한 대규모 언어 모델(LLM) 개발"이었습니다. 사실 처음 LLM이라는 주제를 받았을 때 어떻게 접근해야 할지 막막했던 것도 사실입니다. 하지만 저희는 LLM이 가진 프롬프트 입력-응답 형태에 모델 이미지와 상품 이미지를 합성하여 가상 피팅 서비스를 제공하는 것을 최종 목표로 설정했습니다.

이 목표를 이루기 위해 저희 팀은 시작부터 한 가지 중요한 약속을 했습니다. 바로 "모르는 건 잘못이 아니다. 우리 모두 배워가는 과정이다."라는 마음가짐으로 프로젝트에 임하자는 것이었습니다. 모르는 기능이나 어려운 부분이 생기면 카카오톡이나 디스코드를 통해 적극적으로 소통하고, 그래도 해결되지 않을 때는 인터넷 자료를 찾아가며 학습했습니다.

저 역시 백엔드와 AI 이미지 합성 부분에 대한 지식이 부족했기에, AI 팀원과 끊임없이 소통하며 처리 시간 등을 고려한 최적의 AI 이미지 합성 프로그램을 비교하고 적용했습니다. 특히 중국어 자료밖에 없던 AI 이미지 합성 관련 기술을 번역해가며 학습했던 경험은 정말 뇌리에 깊이 박혔습니다. 그만큼 더 깊이 이해하고 제 것으로 만들 수 있었던 것 같습니다.

끊이지 않던 난관, 포기하지 않는 끈기로 극복하다

프로젝트 진행 중 가장 큰 난관에 부딪혔던 것은 바로 AI 이미지 합성을 담당하던 학교 서버 문제였습니다. 갑작스러운 서버 다운으로 인해 개발해둔 자동화 프로그램이 제대로 작동하는지 확인할 수 없었습니다. 원래 Comfy UI는 GUI 창에서 직접 이미지를 넣고 결과를 확인하는 방식인데, 저희는 최종 결과값만 필요한 형태로 자동화했기에 더욱 답답했습니다.

더 큰 문제는 이후에도 서버가 수시로 문제를 일으켰고, 결국 초기화 외에는 답이 없다는 말을 듣게 되면서 눈물을 머금고 초기화를 진행해야 했습니다. 겨우 파일을 다시 넣고 필수 프로그램을 설치했더니 이번에는 서버에 GPU가 없다는 충격적인 소식을 접하게 되었습니다. 결국 서버 초기화를 무려 5번이나 반복해야 했고, 그만큼 시간 지체도 불가피했습니다.

하지만 저희 팀은 포기하지 않았습니다. 모두가 힘을 합쳐 문제를 해결하기 위해 노력했고, 마침내 발표 당일 실시간으로 시연되는 가상 피팅 서비스를 보며 그동안의 고생이 눈 녹듯 사라지는 뿌듯함을 느낄 수 있었습니다.

노력의 결실, 그리고 새로운 꿈

수많은 사건 사고에도 불구하고, 저희 팀은 모델 이미지를 넣으면 바디 형태와 피부 톤을 알려주고, 신체 정보를 입력 후 프롬프트로 질문하면 그에 맞는 피팅 보고서를 제공하며, 추천 상품 이미지와 모델 이미지를 AI로 합성하여 가상 피팅 서비스를 구현하는 데 성공했습니다.

이번 캡스톤 프로젝트를 통해 저는 어떤 어려움이 닥쳐도 끝까지 해낼 수 있다는 끈기를 얻었습니다. 또한, 단순히 GPT나 Gemini 같은 대화형 AI만을 생각했던 AI 분야에 대해 더 깊이 이해하게 되면서 AI를 활용하는 프런트엔드 개발자가 되고 싶다는 새로운 꿈을 꾸게 되었습니다.

이 모든 경험은 저 혼자서는 불가능했을 겁니다. 함께 머리를 맞대고 고민하며 열정적으로 임해준 팀원들 덕분에 값진 결과물을 얻을 수 있었습니다. 이 자리를 빌려 다시 한번 팀원들에게 감사하다는 말을 전하고 싶습니다.

캡스톤 프로젝트는 단순한 졸업 작품을 넘어, 저에게 큰 성장과 새로운 방향을 제시해 준 소중한 경험으로 기억될 것입니다.

[캡스톤] 가상피팅 서비스 프런트엔드, 백엔드 배포하기

k777agent — Thu, 26 Jun 2025 09:06:55 +0900

안녕하세요! 가상피팅 서비스 프로젝트의 백엔드와 프런트엔드를 성공적으로 배포한 과정을 공유해 드리고자 합니다. 저희는 프런트엔드는 Netlify를, 백엔드는 Ngrok을 활용하여 배포를 진행했습니다. 각각의 배포 과정과 장점을 함께 살펴보시죠!

1. 프런트엔드 배포: Netlify로 빠르고 간편하게!

Netlify는 정적 웹사이트 호스팅 및 배포를 위한 강력한 플랫폼입니다. 특히 React와 같은 SPA(Single Page Application) 배포에 매우 최적화되어 있습니다.

Netlify 배포 과정:

프로젝트 준비: React 앱을 빌드합니다. npm run build 또는 yarn build 명령어를 실행하면 build 폴더에 배포 가능한 정적 파일들이 생성됩니다.
Netlify 가입 및 로그인: Netlify 웹사이트에 접속하여 GitHub, GitLab, Bitbucket 계정으로 간편하게 가입 및 로그인합니다.
새 사이트 생성: 대시보드에서 'Add new site' 또는 'New site from Git' 버튼을 클릭합니다.
Git 연동: 프런트엔드 프로젝트가 저장된 GitHub, GitLab, Bitbucket 저장소를 연동합니다. 저장소를 선택하고 배포할 브랜치(예: main 또는 master)를 지정합니다.
빌드 설정:
- 빌드 명령어 (Build command): npm run build 또는 yarn build (프로젝트에 따라 다름)를 입력합니다.
- 배포할 디렉토리 (Publish directory): build를 입력합니다.
배포 시작: 'Deploy site' 버튼을 클릭하면 Netlify가 자동으로 프로젝트를 빌드하고 배포를 진행합니다.
도메인 설정: 배포가 완료되면 Netlify에서 제공하는 기본 도메인으로 접속하여 웹사이트를 확인할 수 있습니다. 필요하다면 사용자 정의 도메인도 연결할 수 있습니다.

Netlify의 장점:

자동화된 CI/CD: Git 저장소에 코드를 푸시할 때마다 자동으로 빌드 및 배포가 이루어져 개발 워크플로우를 간소화합니다.
빠른 CDN: 전 세계에 분산된 CDN(콘텐츠 전송 네트워크)을 통해 사용자에게 빠르게 콘텐츠를 제공합니다.
간편한 설정: 직관적인 UI와 간단한 설정으로 웹사이트를 쉽게 배포할 수 있습니다.
HTTPS 자동 적용: 무료 SSL 인증서를 자동으로 발급하고 적용하여 보안을 강화합니다.

2. 백엔드 배포: Ngrok으로 로컬 서버를 외부에 노출!

Ngrok은 로컬에서 실행 중인 웹 서버를 외부 인터넷에 노출시킬 수 있는 터널링 도구입니다. 개발 단계에서 프런트엔드와 백엔드를 연동하거나, 테스트 목적으로 외부에서 접근해야 할 때 매우 유용합니다.

Ngrok 배포 과정:

Ngrok 설치: Ngrok 공식 웹사이트에서 운영체제에 맞는 버전을 다운로드하고 압축을 해제합니다.
Ngrok 인증: 다운로드 후, Ngrok 대시보드에서 제공하는 인증 토큰을 사용하여 Ngrok을 인증합니다.
Bash
```
./ngrok authtoken <YOUR_AUTH_TOKEN>
```
백엔드 서버 실행: 로컬 환경에서 FastAPI 백엔드 서버를 실행합니다. 저희 프로젝트의 경우 main.py 파일 하단에 Uvicorn을 통해 서버를 실행하는 코드가 있습니다.이 코드를 통해 서버가 8000번 포트에서 실행됩니다. 터미널에서 다음과 같이 실행할 수 있습니다.

Bash

uvicorn api.main:app --host 0.0.0.0 --port 8000

Python

if __name__ == "__main__":
    import uvicorn
    port = int(os.getenv("PORT", 8000))
    uvicorn.run("api.main:app", host="0.0.0.0", port=port, reload=False)

Ngrok 터널링 시작: 새로운 터미널을 열고, 백엔드 서버가 실행 중인 포트(예: 8000번)로 HTTP 터널을 엽니다.
Bash
```
./ngrok http 8000
```
외부 URL 확인: Ngrok이 실행되면 콘솔에 Forwarding 주소가 표시됩니다. 이 주소(예: https://<random-subdomain>.ngrok-free.app)가 외부에서 백엔드 서버에 접근할 수 있는 URL이 됩니다.

Ngrok의 장점:

간편한 외부 노출: 복잡한 네트워크 설정 없이 로컬 서버를 인터넷에 쉽게 노출할 수 있습니다.
개발 및 테스트 용이: 프런트엔드와 백엔드를 분리하여 개발할 때 API 연동 테스트를 편리하게 진행할 수 있습니다.
일시적 접근: 특정 기간 동안만 서버를 외부에 노출해야 할 때 유용합니다.

3. 프런트엔드와 백엔드 연동

Netlify로 배포된 프런트엔드와 Ngrok으로 노출된 백엔드를 연동하는 것이 마지막 단계입니다.

RecommendationForm.js 파일에서 백엔드 API를 호출하는 부분의 URL을 Ngrok이 제공하는 외부 URL로 변경해야 합니다.

JavaScript

// RecommendationForm.js 파일 내 axios.post 요청 URL 수정
// 기존:
// const response = await axios.post("http://localhost:8000/api/analyze-image", ...);
// const response = await axios.post("http://localhost:8000/api/recommend", { ... });
// const response = await axios.post("http://localhost:8000/api/try-on", { ... });

// 변경:
const BASE_API_URL = "https://<YOUR_NGROK_SUBDOMAIN>.ngrok-free.app"; // Ngrok이 제공하는 URL로 변경

// 예시
const response = await axios.post(`${BASE_API_URL}/api/analyze-image`, ...);
const response = await axios.post(`${BASE_API_URL}/api/recommend`, { ... });
const response = await axios.post(`${BASE_API_URL}/api/try-on`, { ... });

이렇게 URL을 변경한 후, 프런트엔드 코드를 다시 빌드하고 Netlify에 재배포하면, 배포된 프런트엔드 웹사이트가 Ngrok을 통해 노출된 백엔드 서버와 통신하게 됩니다.

가상 피팅 서비스의 성공적인 배포는 Netlify와 Ngrok의 강력한 기능을 통해 가능했습니다. 이 두 도구를 활용하면 복잡한 배포 과정을 간소화하고, 효율적인 개발 및 테스트 환경을 구축할 수 있습니다. 여러분의 프로젝트에도 이 방법들을 적용해보세요!

[캡스톤] '모델 이미지 분석' 기능 구현

k777agent — Thu, 26 Jun 2025 08:49:32 +0900

오늘은 사용자에게 더욱 정확하고 개인화된 의류 추천을 제공하기 위해 '모델 이미지 분석' 기능이 어떻게 구현되었는지, 특히 '퍼스널 컬러 예측' 부분이 백엔드와 프런트엔드에서 어떻게 처리되는지 자세히 알아보겠습니다.

1. 퍼스널 컬러 예측, 어떻게 이루어지나요?

DeepShopping은 사용자가 업로드한 이미지를 분석하여 퍼스널 컬러를 예측합니다. 이 과정은 주로 백엔드에서 이루어지며, main.py 파일의 analyze_image 엔드포인트가 핵심적인 역할을 합니다.

personal color predict 디렉토리의 핵심 파일들:

skincolor.py: 이 파일에는 얼굴 이미지에서 피부 영역을 추출하고, 추출된 피부색을 기반으로 퍼스널 컬러를 분류하는 로직이 담겨 있습니다. 일반적으로 머신러닝 모델(예: 딥러닝 모델)과 전처리/후처리 과정이 포함됩니다.
personal_color_model.h5: 이는 퍼스널 컬러를 예측하는 데 사용되는 실제 딥러닝 모델 파일입니다. HDF5 형식으로 저장된 Keras 또는 TensorFlow 모델일 가능성이 높습니다.
scaler.pkl: 피부색 데이터를 모델에 입력하기 전에 정규화하는 데 사용되는 스케일러 객체입니다. pickle 파일로 저장되어 모델과 함께 로드됩니다.
shape_predictor_68_face_landmarks.dat: Dlib 라이브러리에서 제공하는 얼굴 랜드마크 예측 모델입니다. 얼굴 영역을 정확히 찾아내고 눈, 코, 입 등 68개의 특징점을 파악하여 피부 영역을 분리하는 데 활용됩니다.
bodyshape.py: 이 파일은 이미지에서 사용자의 체형을 분석하고 예측하는 로직을 담고 있습니다.

백엔드(main.py)에서의 처리 과정:

파일 업로드: 사용자가 프런트엔드에서 이미지 파일을 업로드하면, FastAPI의 /api/analyze-image 엔드포인트가 이를 UploadFile 형태로 받습니다.
임시 저장: 업로드된 파일은 서버의 임시 디렉토리에 저장됩니다. 이는 파일 시스템 경로를 통해 분석 모델에 접근하기 위함입니다.
원격 서버 업로드 (선택 사항): 코드를 보면, 설정된 환경 변수(REMOTE_SERVER_HOST, REMOTE_SERVER_USER 등)가 있다면, 업로드된 이미지를 원격 Linux 서버로 model.jpg라는 이름으로 다시 업로드하는 로직이 있습니다. 이는 my_tryon.py와 같은 추가적인 딥러닝 모델이 별도의 고성능 서버에서 실행될 때 유용합니다.
모델 로드 및 예측:
- predict_personal_color 함수를 호출하여 퍼스널 컬러를 예측합니다. 이때 personal_color_model.h5, scaler.pkl, shape_predictor_68_face_landmarks.dat와 같은 모델 파일들의 절대 경로를 정확히 지정하여 로드합니다.
- predict_body_shape 함수를 호출하여 체형을 예측합니다.
- 이 두 함수는 업로드된 이미지 파일의 경로를 인자로 받아 분석을 수행하고 결과를 반환합니다.
예외 처리: 만약 퍼스널 컬러나 체형 분석이 실패하면, 적절한 HTTP 400 오류 메시지를 반환하여 프런트엔드에 알립니다.
결과 반환: 분석이 성공적으로 완료되면, personal_color와 body_shape 결과를 JSON 형태로 프런트엔드에 반환합니다.

Python

# main.py 에서 personal color predict 관련 부분
# Corrected imports to load directly from the modified sys.path
from skincolor import predict_personal_color #
from bodyshape import predict_body_shape #

# ...
@app.post("/api/analyze-image")
async def analyze_image(file: UploadFile = File(...)):
    # ... 파일 저장 및 원격 업로드 로직 ...

    # Define absolute paths for models required by personal color prediction
    base_dir = os.path.dirname(os.path.dirname(os.path.abspath(__file__))) 
    personal_color_predict_dir = os.path.join(base_dir, "toil", "personal color predict")
    
    model_path = os.path.join(personal_color_predict_dir, "personal_color_model.h5") #
    scaler_path = os.path.join(personal_color_predict_dir, "scaler.pkl") #
    shape_predictor_path = os.path.join(personal_color_predict_dir, "shape_predictor_68_face_landmarks.dat") #

    personal_color_result = predict_personal_color( #
        image_path=file_path,
        model_path=model_path,
        scaler_path=scaler_path,
        shape_predictor_path=shape_predictor_path
    )
    body_shape_result = predict_body_shape(image_file_path=file_path) #

    # ... 결과 반환 로직 ...

2. 모델 이미지 분석, 프런트엔드와 어떻게 소통하나요?

프런트엔드(RecommendationForm.js)는 사용자와 백엔드 간의 인터페이스 역할을 합니다.

프런트엔드(RecommendationForm.js)에서의 처리 과정:

이미지 선택 및 미리보기:
- 사용자가 '모델 이미지 선택' 버튼을 클릭하여 이미지를 업로드합니다.
- handleImageFileChange 함수는 선택된 파일을 selectedFile 상태에 저장하고, FileReader를 사용하여 이미지 미리보기를 생성하여 imagePreview 상태에 업데이트합니다.
- 이를 통해 사용자는 업로드할 이미지를 미리 확인할 수 있습니다.
분석 요청:
- 사용자가 '선택한 이미지로 체형/컬러 분석' 버튼을 클릭하면 handleImageAnalysis 함수가 호출됩니다.
- 이 함수는 FormData 객체를 생성하여 선택된 이미지 파일(selectedFile)을 백엔드(http://localhost:8000/api/analyze-image)로 POST 요청합니다.
- 분석 중에는 analysisLoading 상태를 true로 설정하여 사용자에게 로딩 스피너를 보여줍니다.
결과 수신 및 반영:
- 백엔드로부터 분석 결과(퍼스널 컬러, 체형)를 성공적으로 받으면, setUserInfo 함수를 사용하여 userInfo 상태의 personal_color와 body_shape 필드를 업데이트합니다.
- 사용자에게는 분석 완료 알림(alert)이 표시됩니다.
- 만약 오류가 발생하면 analysisError 상태를 업데이트하여 오류 메시지를 보여줍니다.

JavaScript

// RecommendationForm.js 에서 모델 이미지 분석 관련 부분
// ...
const handleImageFileChange = (event) => { //
  const file = event.target.files[0]; //
  if (file) { //
    setSelectedFile(file); //
    const reader = new FileReader(); //
    reader.onloadend = () => { //
      setImagePreview(reader.result); //
    };
    reader.readAsDataURL(file); //
  }
};

const handleImageAnalysis = async () => { //
  // ... (파일 유효성 검사, 로딩 상태 설정) ...

  const formData = new FormData(); //
  formData.append("file", selectedFile); //

  try { //
    const response = await axios.post( //
      "http://localhost:8000/api/analyze-image", //
      formData,
      {
        headers: {
          "Content-Type": "multipart/form-data",
        },
      }
    );
    setUserInfo((prev) => ({ //
      ...prev,
      personal_color: response.data.personal_color || prev.personal_color, //
      body_shape: response.data.body_shape || prev.body_shape, //
    }));
    alert("이미지 분석이 완료되어 퍼스널 컬러와 체형 정보가 자동으로 입력되었습니다."); //
  } catch (err) { //
    // ... 오류 처리 ...
  } finally { //
    setAnalysisLoading(false); //
  }
};
// ...

3. 사용자 경험 향상

이러한 딥러닝 기반 이미지 분석 기능은 사용자에게 제공하는 추천의 질을 한층 더 높여줍니다. 사용자가 직접 자신의 퍼스널 컬러나 체형을 입력할 필요 없이, 간단한 이미지 업로드만으로도 개인화된 정보를 얻을 수 있게 되어 사용자 편의성이 크게 향상됩니다.

이 기술은 패션 추천 시스템의 미래를 보여주는 중요한 단계이며, 앞으로 더욱 정교하고 다양한 AI 기반 분석 기능들이 추가될 것으로 기대됩니다.

[캡스톤] Comfyui 자동 실행 프로그램 제작

k777agent — Thu, 5 Jun 2025 21:06:42 +0900

ComfyUI CatVTON 워크플로우 자동화 스크립트

이 스크립트는 ComfyUI 서버에 연결하여 CatVTON 워크플로우를 실행하고, 지정된 입력 이미지를 사용하여 최종 결과 이미지를 가져와 저장합니다.

1. 초기 설정 및 변수

ComfyUI 서버 주소: COMFYUI_URL 및 SERVER_ADDRESS 변수에 ComfyUI 서버의 기본 주소가 설정됩니다 (기본값: http://127.0.0.1:8188).
워크플로우 JSON 경로: WORKFLOW_JSON_PATH 및 DEFAULT_WORKFLOW_PATH는 스크립트 실행 위치를 기준으로 CatVTON 워크플로우 JSON 파일의 경로를 지정합니다.
클라이언트 ID: WebSocket 통신을 위한 고유 클라이언트 ID가 생성됩니다.
출력 디렉토리: 생성된 이미지가 저장될 기본 폴더 (ComfyUI/output/)가 정의됩니다.
입력 이미지: 명령줄 인자를 통해 'Target Person' 이미지와 'Reference Garment' 이미지 파일명을 받습니다.

2. 워크플로우 입력 수정 (modify_workflow_inputs 함수)

목적: 로드된 워크플로우 JSON 데이터 내의 LoadImage 노드에서 입력 이미지 파일명을 동적으로 변경합니다.
동작:
- 워크플로우의 각 노드를 반복합니다.
- 노드 type이 "LoadImage"인 경우를 식별합니다.
- 노드의 title (예: "Target Person", "Reference Garment")을 확인하여 해당하는 입력 이미지 파일명 (model_image_filename, top_image_filename)으로 widgets_values를 업데이트합니다.
  - widgets_values가 없거나 리스트가 아닌 경우 경고를 출력합니다.
  - 변경이 없으면 경고 메시지를 출력합니다.

3. 워크플로우 실행 (run_workflow 함수 - 레거시/참고용)

역할: (주석 처리된 또는 이전 버전의) 워크플로우 실행 로직으로, 현재 if __name__ == "__main__": 블록의 queue_prompt 및 handle_websocket_messages 함수로 대체되거나 보강된 기능입니다.
주요 동작:
- 워크플로우 JSON 파일을 읽습니다.
- modify_workflow_inputs를 호출하여 입력 이미지를 수정합니다.
- class_type 설정: ComfyUI API 요구사항에 맞춰 각 노드의 class_type을 설정하려고 시도합니다. 이는 CORRECT_CLASS_TYPES 매핑을 사용하거나, 원본 파일의 class_type을 유지하거나, 노드의 type을 class_type으로 대체합니다.
- 준비된 워크플로우를 JSON 페이로드로 구성하여 /prompt 엔드포인트로 HTTP POST 요청을 보냅니다.
- 요청 성공 시 서버 응답을 출력하고 prompt_id를 반환합니다.
- 파일을 찾을 수 없거나, JSON 디코딩 오류, HTTP 요청 오류 등의 예외를 처리합니다.

4. 프롬프트 큐에 추가 (queue_prompt 함수)

목적: ComfyUI 서버의 큐에 워크플로우를 제출합니다.
동작:
- 워크플로우 데이터와 클라이언트 ID를 포함하는 페이로드를 생성합니다.
- urllib.request를 사용하여 http://{server_address}/prompt로 POST 요청을 보냅니다.
- HTTP 오류 발생 시 상세한 서버 응답(특히 node_errors가 포함된 경우)을 파싱하여 출력합니다.

5. 이미지 가져오기 (get_image 함수)

목적: ComfyUI 서버에서 특정 이미지 파일을 다운로드합니다.
동작:
- 파일 이름, 하위 폴더, 폴더 유형을 포함하는 URL 매개변수를 구성합니다.
- http://{server_address}/view?{url_values} 엔드포인트에 요청하여 이미지 바이트를 가져옵니다.

6. 히스토리 가져오기 (get_history 함수)

목적: 특정 프롬프트 ID에 대한 실행 히스토리(결과 이미지 정보 포함)를 가져옵니다.
동작:
- http://{server_address}/history/{prompt_id} 엔드포인트에 요청하여 JSON 형식의 히스토리 데이터를 반환합니다.
- HTTP 오류 발생 시 오류 메시지를 출력합니다.

7. WebSocket 메시지 처리 및 결과 저장 (handle_websocket_messages 함수)

목적: ComfyUI WebSocket에 연결하여 프롬프트 실행 상태를 실시간으로 모니터링하고, 완료 시 결과 이미지를 다운로드하여 저장합니다.
동작:
- WebSocket에 연결합니다.
- status 메시지를 통해 큐 상태를 확인하고, executing 메시지를 통해 프롬프트 실행 시작 및 완료(node=None)를 감지합니다.
- execution_error 메시지가 수신되면 오류 세부 정보를 출력하고 처리를 중단합니다.
- 프롬프트 실행이 완료되거나 오류가 발생하면 WebSocket 연결을 닫습니다.
- 결과 이미지 다운로드 및 저장:
  - get_history 함수를 사용하여 완료된 프롬프트의 히스토리 데이터를 가져옵니다.
  - 지정된 output_node_id_target에서 images 배열을 찾아 각 이미지의 파일명, 하위 폴더, 유형을 추출합니다.
  - get_image를 호출하여 이미지 바이트를 가져오고, 지정된 출력 디렉토리(ComfyUI/output/)에 고유한 파일명(원본 파일명 + 노드 ID + 타임스탬프)으로 저장합니다.
  - 이미지 저장 중 발생하는 오류를 처리합니다.

8. API 형식으로 워크플로우 변환 (convert_workflow_to_api_format 함수)

목적: ComfyUI 웹 UI에서 저장된 워크플로우 JSON을 ComfyUI API가 이해할 수 있는 형식으로 변환합니다.
동작:
- 각 노드를 반복하며 id, type을 기반으로 API 프롬프트의 키와 값을 구성합니다.
- 노드의 type을 class_type으로 설정합니다.
- LoadImage 노드의 경우, title (예: "Target Person", "Reference Garment")을 기반으로 inputs에 image 파일명을 설정합니다.
- CatVTON 관련 커스텀 노드(LoadAutoMasker, AutoMasker, LoadCatVTONPipeline, CatVTON)의 경우, widgets_values에 있는 모델 경로, 천 종류, 시드, 스텝 등의 값을 API의 inputs 필드로 매핑합니다.
- 워크플로우 내의 links 정보를 분석하여 노드 간의 연결을 API inputs 형식([origin_node_id, origin_slot_idx])으로 변환합니다.
- 최종 결과물을 생성하는 SaveImage 노드(인자로 받은 output_node_id와 일치하는)에 filename_prefix를 자동으로 추가합니다.

9. 메인 실행 블록 (if name == "main":)

명령줄 인자 파싱: argparse를 사용하여 다음 인자를 받습니다.
- --model-image: 대상 인물 이미지 파일명 (필수).
- --top-image: 옷 이미지 파일명 (필수).
- --workflow_path: 워크플로우 JSON 파일 경로 (기본값 제공).
- --server_address: ComfyUI 서버 주소 (기본값 제공).
- --output_node_id: 최종 이미지 출력을 담당하는 노드의 ID (기본값: "18").
- --skip_cleanup: 처리 후 입력 파일을 삭제할지 여부를 결정합니다.
워크플로우 로드 및 변환: 지정된 경로에서 워크플로우 JSON을 로드하고 convert_workflow_to_api_format을 호출하여 API 형식으로 변환합니다.
프롬프트 큐에 추가: queue_prompt를 호출하여 워크플로우를 ComfyUI 서버 큐에 제출합니다.
WebSocket 모니터링: prompt_id를 사용하여 handle_websocket_messages를 호출하여 프롬프트 실행을 모니터링하고 결과를 가져옵니다.
오류 처리: 서버 연결 오류 (URLError, ConnectionRefusedError) 및 기타 예외를 처리하고 사용자에게 메시지를 출력합니다.
파일 정리: --skip_cleanup 인자가 없으면, 스크립트 실행이 완료된 후 ComfyUI의 input 폴더에 업로드된 입력 이미지 파일을 삭제합니다.

[캡스톤] Gemini API와 Serper API

k777agent — Thu, 22 May 2025 19:55:55 +0900

이번에 캡스톤에서 나에게 맞는 옷을 찾기 위한 llm에 부분에서 사용할 api가 필요하였습니다. 그래서 이번기회에 사용할 api들을 비교하면서 무엇을 사용하였는지에 대해 이야기 해볼려고 합니다. 저희 프로젝트에서 사용하는 api는 Gemini api와 Serper api라서 이것들을 중점적으로 살펴볼려고 합니다.

Gemini API란

Gemini API는 Google DeepMind가 개발한 멀티모달 대형 언어 모델(LLM) 입니다. 자연어 처리, 이미지 분석, 코드 생성 등 다양한 기능을 하나의 API에서 사용할 수 있습니다.

현재 gemini api를 사용하는 방법에 대한 코드 예시 입니다.

from google.generativeai import GenerativeModel

model = GenerativeModel('gemini-pro')
response = model.generate_content("Explain quantum computing in simple terms.")
print(response.text)

장점

멀티모달 지원: 텍스트, 이미지 입력 동시 처리
Google 생태계 통합: Gmail, Docs, Drive 등과의 연동에 유리
정확한 추론: 코드 생성, 테크니컬 Q&A에 강함

단점

설정이 복잡: Google Cloud 인증 절차가 초심자에겐 부담
쿼터 제한: 무료 요금제 한도가 빠르게 소진됨

Serper API란

Serper API는 Google 검색 결과를 API 형태로 제공하는 서비스입니다. 실시간 뉴스, 이미지, 블로그, 일반 웹 검색까지 다양한 형태의 데이터를 JSON으로 받아올 수 있습니다.

현재 Serper api를 사용하는 방법에 대한 코드 예시입니다.

import requests

url = "https://google.serper.dev/search"
headers = {"X-API-KEY": "YOUR_API_KEY"}
params = {"q": "latest AI trends"}

response = requests.post(url, headers=headers, json=params)
print(response.json())

장점

Google 검색 기반: 정확하고 신뢰도 높은 결과 제공
빠르고 직관적: 복잡한 웹 크롤링 없이 빠른 구현 가능

단점

검색 이외 기능 부족: 생성형 응답이나 요약은 별도 구현 필요
유료 플랜 필요: 일정 요청 이상은 요금 발생

Gemini API vs 다른 LLM들 (ChatGPT, Claude, Mistral 등)

항목	Gemini	ChatGPT (OpenAI)	Claude (Anthropic)	Mistral
개발사	Google DeepMind	OpenAI	Anthropic	Mistral.ai
모델명	Gemini 1.5 Pro	GPT-4, GPT-4-turbo	Claude 3 Opus	Mixtral 8x7B
멀티모달 지원	✅ (텍스트+이미지)	✅ (Pro 이상)	✅ (Claude 3)	❌
API 통합성	Google Cloud 기반	OpenAI API 사용	AWS Bedrock 통합	HuggingFace/Custom
강점	Google 생태계 연동, 정확한 검색 기반	창의성, 코드 생성, Plugin 에코시스템	장문 처리, 안전성, 문서 요약	오픈소스, 비용 효율성
최대 컨텍스트 길이	1M tokens (압축 포함)	~128k (GPT-4-turbo)	200k tokens	~32k
사용 용도	검색 기반 응답, 문서 해석, 업무 자동화	범용 AI 비서, 앱 연동	윤리적 AI, 리서치, 요약	오픈소스 프로젝트, 경량 서비스
가격	중간 (Google Cloud 기준)	유료 (ChatGPT Plus 등)	일부 AWS 요금 필요	저렴 또는 무료 (OSS)

요약

Gemini는 멀티모달 처리와 Google 서비스 연동에 강하며, 특히 Gmail, Calendar, Drive와의 연결이 필요한 서비스에 적합합니다.
ChatGPT는 다양한 Plugin과 광범위한 커뮤니티, 풍부한 튜토리얼이 장점입니다.
Claude는 긴 문서 요약과 안전성을 강조하며, 민감한 정보에 민감한 조직에 적합합니다.
Mistral은 경량 오픈소스로, 프라이빗 모델을 원하는 조직에 유리합니다.

Gemini + Serper 조합을 선택했는가?

목적	선택 API	이유
실시간 정보 검색	Serper	빠른 결과, Google 기반의 높은 신뢰도
자연어 처리 및 응답 생성	Gemini	멀티모달, 정확한 추론, Google 생태계 통합
비용과 확장성	둘 다	API 통합이 쉬우며, 프로젝트 성장에 따라 확장 가능

Gemini는 정확하고 신뢰도 높은 응답 생성을, Serper는 최신 정보 수집을 담당합니다. 이 둘의 조합으로 사용자 입력에 따라 정보를 검색하고, 이를 바탕으로 콘텐츠를 생성하거나 업무를 자동화하는 데 매우 유용한 구조가 완성됩니다.

결론

이렇게 api를 사용하여서 프로젝트를 작업해나가고 있습니다. 현재 1달 정도 남은 시점인데 잘 마무리 되었으면 좋겠습니다.

[캡스톤] React와 Fast-api 설치 및 사용한 이유

k777agent — Wed, 14 May 2025 23:09:02 +0900

서론

이번 캡스톤 프로젝트의 결과물을 보여주기 위하여 프런트엔드와 백엔드로 프로그램 작동을 구현시키려고 합니다. 이때 React와 Fast-api로 만들려고 하는데 설치 및 이 2개의 프로그램을 사용한 이유에 대해서 이야기 해보려고 합니다.

️ 설치 방법

1. React 설치

npx create-react-app
npm start

create-react-app을 이용하면 프로젝트 템플릿이 자동으로 생성되며, 개발 서버가 자동으로 열립니다

2. FastAPI 설치

# 가상환경 설정 (선택 사항)
python -m venv venv
source venv/bin/activate  # Windows는 venv\Scripts\activate

# FastAPI와 Uvicorn 설치
pip install fastapi uvicorn

3. FastAPI 기본 예제 (main.py)

from fastapi import FastAPI

app = FastAPI()

@app.get("/")
def read_root():
    return {"message": "Hello from FastAPI"}

4. FastAPI 서버 실행

python main.py

5. 결과창

React 장점 요약

빠르고 유연한 UI 구성
컴포넌트 기반 개발로 재사용성과 유지보수 용이
풍부한 생태계와 커뮤니티
다양한 라이브러리와 도구 (예: Redux, React Router 등)
JSX 문법으로 더 직관적인 UI 구현

⚡ FastAPI 장점 요약

Python 기반의 현대적인 웹 프레임워크
자동 문서화 (Swagger, Redoc)
/docs, /redoc 경로로 자동 API 문서 생성
비동기 처리 지원으로 고성능 구현 가능
데이터 검증과 타입 검사 내장 (Pydantic)

✅ React와 FastAPI를 함께 쓰는 이유

프론트엔드/백엔드 완벽 분리
React는 클라이언트 사이드에서 UI를 구축하고, FastAPI는 서버 사이드에서 API를 제공합니다. 역할이 명확히 분리되어 유지보수가 편합니다.
비동기 처리 및 빠른 응답
FastAPI는 Python의 비동기 기능(async/await)을 적극 활용할 수 있어, 빠르고 확장 가능한 API 서버를 만들 수 있습니다.
개발 생산성 향상
React의 컴포넌트 기반 구조와 FastAPI의 자동 문서화(Swagger, Redoc)는 개발 속도를 높여줍니다.
타입 안정성과 자동 문서화
FastAPI는 Python 타입 힌트를 바탕으로 자동으로 검증 로직과 API 문서를 생성합니다. 개발자와 클라이언트 모두에게 이점이 됩니다.

결론

이렇게 React를 사용하여서 결과물의 완성도를 높여주는 ui/ux등을 만들어주기 위해 사용하였고 Fast-api는 백엔드를 전문적으로 배운 사람이 없는 팀에서 제가 그나마 빠르게 배우기 위해서 선택한 감이 없지 않아 있지만 저희가 사용하는 내용이 데이터베이스를 사용하는 분야가 없다보니 그 부분을 사용하지 않아 Fast-api가 낫다는 생각이 들어서 이 2개의 프로그램을 사용하여서 만들게 되었습니다. 아직 지속적으로 백엔드와 관련된 추가 프로그램과 프런트엔드 ui/ux를 업데이트 하여서 완성도 있는 모습을 보일 것입니다. 아직 서버가 고쳐지지 않아 이부분을 먼저 하게 되네요;;

[캡스톤] Search Agent와 Fitting Agent 구상하기

k777agent — Thu, 8 May 2025 18:43:00 +0900

개요

이번에 캡스톤에서 작업 중인 가상피팅서비스를 위한 대규모 언어모델 개발이라는 프로젝트를 하고 있습니다. 현재 작업을 하면서 다시 우리가 정확히 어떤 프로그램을 만드는지 점검하는 시간이 필요한 것 같아서 구상도를 소개하면서 천천히 이야기해볼려고 합니다.

현재 저희의 프로젝트는 Search Agent와 Fitting Agent로 구성된 Multi Agent의 형태로 Search Agent 후에 나오는 결과물을 Fitting Agent로 보내서 사용자에게 가상으로 옷을 입혀진 모습을 보여주는 시스템입니다. 먼저 Search Agent부터 보도록 하겠습니다.

Search Agent

flowchart TD
    start(["시작"]) --> PrelimInvest["PreliminaryInvestigation"]
    PrelimInvest --> prelim_search["PreliminarySearch"]
    prelim_search --> research_planning["ResearchPlanning"]
    research_planning --> task_avail{"작업이 있는가?"}
    task_avail -- 예 --> query_analysis["DeepSearchQueryAnalysis"]
    query_analysis --> tool_calling["DeepSearchToolCalling"]
    tool_calling --> ref_filter["ReferenceFilter"]
    ref_filter --> research_planning
    task_avail -- 아니오 --> report["ReportCompilation"]
    report --> RCU["final_report"]
    RCU --> PRE["product_recommendation"]
    PRE --> US["user_selection"]
    US --> Fit["Fitting_Agent"]

0단계

앞의 체형분석과 유저의 인풋으로부터 유저정보를 받음
- (체형정보, 키, 피부톤, 등등)
유저의 쿼리를 받음
- (IT회사 자율복장 면접에 입고 갈만한 나에게 어울리는 옷 추천)

1단계

PreliminaryInvestigation Node
- 쿼리와 유저정보를 바탕으로 llm이 알지 못하는 정보를 채우기 위한 노드로 배경지식을 쌓고(by search Tool), 그를 통해 초기 조사 방향을 설정
  - 유저 쿼리에 신조어나 llm이 알지못하는 정보를 채우기 위함, 필요 없다면 노드를 건너 뜀.

2단계

ResearchPlanning Node
- 유저정보, 쿼리, 사전 배경지식을 바탕으로 계획을 생성
  - 여러 섹션으로 나누어 계획 생성 (섹션 생성)
    - IT회사 면접에서 선호하는 상의 스타일을 조사하세요.
    - 자유 복장 면접에서 피해야 할 스타일을 조사하세요.
    - 면접에 적합한 비즈니스 상의 종류를 조사하세요.
    - 주요 남성 의류 브랜드의 비즈니스 상의 제품을 조사하세요.
    - 각 브랜드별 상의의 스타일, 디자인, 소재, 가격대, 사이즈, 컬러 정보를 조사하세요.
    - 각 제품의 제조사 정보, 상세 소재 구성, 관리 방법을 조사하세요.
    - 각 제품에 대한 사용자 리뷰 및 평가를 분석하여 장단점을 파악하세요.
    - 패션 전문가 또는 관련 블로거의 비즈니스 캐주얼 상의 제품 평가 및 추천 의견을 조사하세요.
    - 각 제품의 가격 대비 가치를 분석하고 유사 제품과 비교하세요.

3단계

research_unit_execution Node
- 작업이 있는가?
  - current_task, incomplete_tasks, completed_tasks로 판단
- 2단계에서 생성된 계획을 순서대로 하나씩 조사함

4단계

DeepSearch QueryAnalysis
- 각 계획에 맞는 작업을 수행하기 위해서 Agent ReAct 구조로 서브그래프를 돌림
- 검색, 뉴스, Url 요약 툴 사용

여러 출처중에서 reference_filter Node를 거쳐서 원하는 작업과 관련되지 않는 출처의 정보는 State에서 제거 - 관련되지 않는 이유 Metadata로 생성

5단계

report_compilation Node
- 주제, 유저정보, 작업, 출처를 바탕으로 최종 보고서 작성

6단계

Product Recommendation
- Naver Shopping Tool을 활용하여 보고서에서 유저와 가장 알맞는 상품정보를 얻고 이미지, 가격, 제품명, url등을 추출
- → 피팅 에이전트에 Image Url 전달

다음으로는 Fitting Agent의 구상도를 보겠습니다.

Fitting Agent

flowchart TD
    %% 시작점
    START(User Upper Body Image + Product Image):::highlightClass --> COMFY[ComfyUI Virtual Try-on]

    %% 첫 번째 피팅 시도
    COMFY --> VLM_CHECK{VLM Quality Check}:::checkClass

    %% 평가 및 분기
    VLM_CHECK -->|Good Fitting| FINAL_RESULT[Final Fitting Result]:::outputClass
    VLM_CHECK -->|Poor Fitting| IMG2IMG[IMG2IMG Processing]:::processClass

    %% 프롬프트 수정 및 재처리
    IMG2IMG --> PROMPT_ADJUST[Adjust Prompts]:::adjustClass
    PROMPT_ADJUST --> RETRY_COMFY[Retry ComfyUI with Modified Prompt]

    %% 두 번째 평가
    RETRY_COMFY --> VLM_CHECK2{VLM Quality Check}:::checkClass

    %% 결과 처리
    VLM_CHECK2 -->|Good Fitting| FINAL_RESULT
    VLM_CHECK2 -->|Still Poor Fitting| MAX_ATTEMPTS{Max Attempts?}:::decisionClass

    %% 최대 시도 확인
    MAX_ATTEMPTS -->|Yes| BEST_RESULT[Best Available Result]:::compromiseClass
    MAX_ATTEMPTS -->|No| PROMPT_ADJUST

    %% 최종 결과
    BEST_RESULT --> FINAL_RESULT
    FINAL_RESULT --> OUTPUT(Output to User):::highlightClass

    %% 클래스 정의
    classDef highlightClass fill:#ffcccc,stroke:#ff0000,stroke-width:3px,font-weight:bold
    classDef checkClass fill:#ffe6cc,stroke:#d79b00,stroke-width:2px,shape:diamond
    classDef processClass fill:#d5e8d4,stroke:#82b366,stroke-width:2px
    classDef adjustClass fill:#fff2cc,stroke:#d6b656,stroke-width:2px
    classDef outputClass fill:#dae8fc,stroke:#6c8ebf,stroke-width:2px
    classDef decisionClass fill:#e1d5e7,stroke:#9673a6,stroke-width:2px
    classDef compromiseClass fill:#f8cecc,stroke:#b85450,stroke-width:2px

VLM Quality Check (VLM 품질 검사)

ComfyUI가 처리한 가상 피팅 결과를 VLM 품질 검사(VLM Quality Check)로 평가합니다. 이 단계에서 피팅이 잘 맞는지, 아니면 수정이 필요한지 평가를 하려 했으나 학교 서버의 문제로 인해서 gemini api를 활용하여서 제작하려고 합니다.

피팅 평가 및 분기

Good Fitting (좋은 피팅) 경우, 가상 피팅이 잘 맞았다고 판단되면 최종 결과(Final Fitting Result)로 넘어갑니다.
Poor Fitting (피팅이 좋지 않은 경우), 피팅을 개선하기 위해 IMG2IMG 처리 단계로 넘어갑니다.

Max Attempts (최대 시도 횟수 확인)

최대 시도 횟수에 도달했는지 여부를 확인합니다. 최대 횟수에 도달한 경우에는 최선의 결과(Best Available Result)를 제공하며, 더 이상 수정하지 않고 종료합니다.

결론

이번에 캡스톤을 하면서 문제들이 많이 생기고 있으면서 아직 많이 멀었다는 생각을 하게 됩니다. 하지만 포기하지 않고 나아가면 프로젝트를 성공시킬수 있다는 마음가짐으로 앞으로 나아가 볼것입니다. 서버의 문제로 제작하려던 Fitting agent 부분의 공백이 생겨서 프런트엔드를 먼저 작업하는 방향으로 정해졌습니다.

CatVTON 설치 방법

k777agent — Thu, 1 May 2025 17:29:13 +0900

CatVTON 설치 및 실행 가이드 (Zheng Chong 버전)

"복잡한 구성 없이도 고품질 가상 피팅을 경험하세요!"

CatVTON은 복잡한 구조 없이도 높은 품질의 가상 피팅(Virtual Try-On)을 가능하게 하는 최신 딥러닝 모델입니다. 이 가이드에서는 ComfyUI 기반 설치와 Gradio 앱 실행 두 가지 방법을 통해 CatVTON을 설치하고 실행하는 방법을 안내합니다.

사전 준비 사항

Python 3.8 ~ 3.10 권장
CUDA 지원 GPU (최소 6GB, 8GB 이상 권장)
Git 설치
CUDA 및 cuDNN 설치 (NVIDIA GPU 사용 시)

1. ComfyUI 기반 설치

1-1. ComfyUI 설치

git clone https://github.com/comfyanonymous/ComfyUI.git
cd  ComfyUI

1-2. CatVTON 플러그인 설치

cd custom_nodes
wget https://github.com/Zheng-Chong/CatVTON/releases/download/ComfyUI/ComfyUI-CatVTON.zip
unzip ComfyUI-CatVTON.zip

또는, Git을 통해 설치(혹자는 이방법을 추천합니다.):

git clone https://github.com/chflame163/ComfyUI_CatVTON_Wrapper.git

1-3. 의존성 패키지 설치

cd ComfyUI_CatVTON_Wrapper pip install -r requirements.txt

1-4. 모델 파일 다운로드

모델 파일을 다운로드하여 ComfyUI/models/CatVTON 디렉토리에 저장합니다. 해당 디렉토리가 없다면 생성해주세요.

1-5. ComfyUI 실행

cd ../../ python main.py

웹 브라우저에서 http://localhost:8188에 접속하여 ComfyUI 인터페이스를 확인합니다.

1-6. 워크플로우 로드

catvton_workflow.json 파일을 다운로드하여 ComfyUI 웹페이지에 드래그 앤 드롭합니다.

⚠️ 주의사항: Windows 환경에서 문제가 발생할 경우, issue#8을 참고하세요.

2. Gradio 앱 실행

2-1. CatVTON 저장소 클론

git clone https://github.com/Zheng-Chong/CatVTON.git cd CatVTON

2-2. Conda 환경 설정

conda create -n catvton python=3.9 conda activate catvton pip install -r requirements.txt

2-3. Gradio 앱 실행

CUDA_VISIBLE_DEVICES=0 python app.py --output_dir="resource/demo/output" --mixed_precision="bf16" --allow_tf32

웹 브라우저에서 제공되는 링크를 통해 Gradio 인터페이스에 접속하여 가상 피팅을 체험할 수 있습니다.

참고사항: bf16 정밀도를 사용할 경우, 1024x768 해상도의 결과를 생성하는 데 약 8GB의 VRAM이 필요합니다.

3. 데이터 준비 및 추론

3-1. 데이터셋 다운로드

3-2. 디렉토리 구조 예시

data/ 
├── train/ 
│ 	├── images/ 
│ 	├── cloth/ 
│ 	└── mask/ 
└── test/ 
	├── images/ 
	├── cloth/ 
	└── mask/

3-3. 추론 실행

4. 추가 정보

공식 저장소: Zheng-Chong/CatVTON
Hugging Face 모델: zhengchong/CatVTON
논문: Concatenation Is All You Need for Virtual Try-On with Diffusion Models