영양제 크롤링 데이터, 어떻게 저장하면 나중에 덜 고생할까?

한 줄 결론

엑셀 파일 하나에 모든 걸 다 넣으려고 하면 처음에는 편하지만, 나중에 문제가 생긴다. 예를 들어 상품명에 마그네슘 350mg이라고 적혀 있어도 그게 1정 기준인지, 1일 섭취량 기준인지, 원료량인지 유효성분량인지 헷갈릴 수 있다.

그래서 처음 크롤링한 값은 raw_crawls에 그대로 넣고, 확인이 끝난 값만 products, offers, ingredient_facts 같은 정리된 저장칸에 넣는다.

마트 영수증 예시

크롤링 데이터는 마트 영수증과 비슷하다. 영수증은 “무엇을 샀는지”의 증거지만, 그 자체가 깔끔한 가계부는 아니다.

용어 쉽게 풀기

현재 크롤링 파일을 보는 법

현재 파일은 최종 DB라기보다 재료에 가깝다. 상품명에서 뽑은 값은 “후보”로만 저장하고, 상세페이지·상품고시·OCR에서 확인한 값이 들어오면 그때 정식 값으로 승격한다.

저장칸 5개

처음부터 하나의 큰 표에 몰아넣지 말고, 역할별로 저장칸을 나누는 편이 좋다.

저장 규칙

제품 문서에 있으면 좋은 큰 묶음

성분 저장법

영양제 DB에서 제일 자주 바뀌고 복잡한 부분은 성분이다. 그래서 성분을 마그네슘, 비타민D, EPA 같은 고정 컬럼으로 만들면 금방 막힌다.

중복 방지 기준

같은 상품을 여러 번 크롤링해도 DB에 똑같은 줄이 계속 쌓이면 안 된다. 그래서 “이건 같은 상품이다”라고 판단할 기준이 필요하다.

MongoDB 적재용 중간산물 템플릿

이 파일은 사람이 엑셀을 펼쳐서 보는 최종 문서가 아니라, 크롤링 결과를 MongoDB JSON으로 변환하기 전 임시 입력 형식이다. 핵심은 상품 옵션 1줄과 성분 fact 여러 줄을 분리해, 이후 ETL에서 raw_crawls, products, offers, ingredient_facts로 안정적으로 변환하는 것이다.

MongoDB 중간산물 템플릿 다운로드

01_crawl_items: 기존 엑셀을 계승하는 메인 시트

03_ingredient_rows: 성분은 긴 표로 저장

기존처럼 마그네슘, 셀레늄, 비타민B6 컬럼을 계속 늘리면 오메가3, 유산균, 홍삼, 루테인으로 갈수록 표가 너무 넓어진다. 대신 성분 하나를 한 줄로 저장한다.

작업 흐름

MongoDB JSON 예시

아래 예시는 실제 저장 모양을 짧게 줄인 것이다. 기술적으로는 JSON이지만, 사람 눈으로 보면 “제품 카드 + 판매 정보 + 성분 목록 + 검수 표시”라고 보면 된다.

{
  "schema_version": 1,
  "parser_version": "supplement-parser-2026-06-09",
  "source_raw_ids": ["raw_coupang_20260609_000001"],
  "canonical_product_key": "coupang:8719232761",
  "product": {
    "source": "coupang",
    "product_id": "8719232761",
    "name_raw": "USPHARMATECH 프리미엄 마그네슘 징코, 60정, 2개",
    "name_clean": "USPHARMATECH 프리미엄 마그네슘 징코",
    "brand": "USPHARMATECH",
    "dosage_form": "tablet",
    "category_tags": ["magnesium", "ginkgo", "complex"],
    "product_type": null
  },
  "serving": {
    "unit_count": 60,
    "bundle_count": 2,
    "total_units": 120,
    "units_per_serving": null,
    "servings_per_day": null,
    "days_supply": null,
    "flags": ["serving_basis_unknown"]
  },
  "offers": [
    {
      "source": "coupang",
      "item_id": "27364031247",
      "vendor_item_id": "94887942792",
      "url": "https://www.coupang.com/vp/products/8719232761?...",
      "price": { "final": 31400, "currency": "KRW", "per_unit": 262 },
      "rating": 4.0,
      "review_count": 15,
      "is_ad": false,
      "rank": 2,
      "collected_at": "2026-06-09T06:00:00Z"
    }
  ],
  "ingredients": [
    {
      "name_raw": "마그네슘",
      "name_norm": "magnesium",
      "category": "mineral",
      "amount": { "value": null, "unit": "mg" },
      "basis": "unknown",
      "form": "unknown",
      "source_text": "",
      "confidence": 0.0,
      "flags": ["missing_amount", "unknown_basis"]
    }
  ],
  "quality": {
    "certifications": [],
    "manufacturer": null,
    "importer": null,
    "origin_country": null
  },
  "safety": {
    "allergens": [],
    "warnings": [],
    "interaction_tags": []
  },
  "evidence": {
    "raw_name": "USPHARMATECH 프리미엄 마그네슘 징코, 60정, 2개",
    "nutrition_panel_text_raw": "",
    "product_notice_text_raw": "",
    "ocr_text": "",
    "image_urls": [],
    "screenshot_paths": []
  },
  "flags": ["needs_detail_page", "needs_ocr", "ingredient_amount_incomplete"],
  "created_at": "2026-06-09T06:00:00Z",
  "updated_at": "2026-06-09T06:00:00Z"
}

실행 체크리스트