[영상] AI 코딩 에이전트 · Qwen · 크롤러 데모

“코드를 한 줄로”가 아니라
목표를 잘 주면 에이전트가 끝까지 돈다

이 영상의 핵심은 네이버 크롤러 자체보다, Goal + AGENTS.md + 실패 메모리로 코딩 에이전트가 스스로 디버깅 루프를 돌게 만드는 방식입니다.

초보 바이브코딩용Qwen 3.7-Max 소개Qwen Code 메모리Naver Blog crawler 예시

한 줄 결론

따라 할 포인트: “크롤러를 만들어줘”보다 “이 파일의 검색어로 네이버 블로그 100개를 수집하고, 실패하면 원인을 메모리에 기록한 뒤 성공할 때까지 반복해”처럼 목표·검증 기준·실패 처리를 같이 주는 편이 훨씬 강합니다.
주의: 영상에서도 연구용이라고 말합니다. 네이버 등 서비스 크롤링은 약관·robots.txt·과도한 요청·개인정보·저작권 이슈가 생길 수 있으니 실제 운영 자동화로 옮기기 전에는 공식 API/허용 범위/요청 속도 제한을 먼저 확인해야 합니다.

누가 보면 좋나

  • 코딩을 잘 몰라도 에이전트에게 작은 자동화 프로그램을 맡겨보고 싶은 사람
  • Claude Code/Codex/Qwen Code 같은 CLI형 코딩 에이전트에서 goal을 어떻게 써야 할지 감이 없는 사람
  • 에이전트가 한 번 실패하면 사람이 계속 “다시 해”라고 밀어줘야 하는 상황을 줄이고 싶은 사람

업로더 설명의 핵심

업로더는 “Goal만 잘 설정한다면 누구나 쉽게 네이버 크롤러를 만들 수 있다”고 설명합니다. 사람은 의도와 목표를 잘 정하고, 에이전트가 목표로 가는 과정에서 스스로 학습하도록 알려주면 괜찮은 결과를 얻을 수 있다는 메시지입니다. 반응이 좋으면 더 체계화된 프로덕트 개발 과정도 다룬다고 덧붙였습니다.

영상 흐름 타임라인

00:00–01:23
Qwen 3.7-Max를 소개합니다. 알리바바 Qwen 팀의 코딩 모델이며, 코딩 에이전트/범용 에이전트 벤치마크에서 점수가 좋다는 화면을 보여줍니다.
01:28–02:09
Qwen Code의 메모리 기능을 설명합니다. 사용자 메모리, 피드백 메모리, 프로젝트 메모리, 레퍼런스 메모리처럼 실수와 선호를 기억하는 구조를 소개합니다.
02:14–03:49
새 폴더를 만들고 VS Code에서 프로젝트를 엽니다. AGENTS.md에 “네이버 블로그 크롤러” 목표를 적고, search_text 파일의 검색어 기준으로 블로그 100개와 가능하면 좋아요 수를 수집하도록 요구합니다.
04:24–05:29
실패 시 메모리에 기록하고 다음 턴에 같은 실패를 반복하지 말라는 지시를 추가합니다. 이후 goal 명령으로 “성공할 때까지 지속적으로 반복”하라고 요청합니다.
05:53–07:13
search_text에 “강남 마라탕 맛집”을 넣고 실행합니다. 에이전트가 스스로 AGENTS.md를 읽고 Python 환경 설정, 크롤러 작성, 테스트, 이슈 수정, 100개 수집 반복 계획을 세웁니다.
07:23–09:17
초기 시도는 완성되지 않습니다. 에이전트가 디버그 파일을 만들고 원인을 찾고, 약 10~11개 데이터만 가져오거나 좋아요/조회수 수집에 실패하는 문제를 스스로 고치려는 장면이 이어집니다.
09:22–10:03
중간에 단순 Python 스크립트 방식에서 Selenium 가상 브라우저 방식으로 방향을 바꿉니다. 사람이 방법을 알려주지 않았는데도 에이전트가 전략을 바꾸는 점을 강조합니다.
10:07–11:30
여러 번 디버깅 후 100개 수집에 성공합니다. 결과 데이터에서 블로그 제목/본문 일부와 좋아요 수가 보이며, 예시로 좋아요 17개 같은 필드가 확인됩니다.
11:33–끝
정리: Goal을 잘 잡고, AGENTS.md와 메모리를 통해 실패를 학습하게 하면 에이전트가 스스로 반복하며 결과를 낼 수 있다는 메시지로 마무리합니다.

실제로 영상에서 데모된 것 vs 언급만 된 것

화면으로 실제 확인됨

  • Qwen 3.7-Max 소개 페이지와 벤치마크 표
  • VS Code에서 새 크롤러 프로젝트 폴더를 열고 파일을 만드는 과정
  • AGENTS.md에 목표·검색어 파일·수집 조건을 적는 과정
  • Qwen Code/에이전트 인터페이스에 goal을 넣고 자동 반복시키는 과정
  • Python 스크립트, 디버그 출력, Selenium 전환, 결과 데이터 확인
  • 최종적으로 네이버 블로그 데이터 100개 수집에 성공했다는 화면과 좋아요 수 예시

말로 언급·권장된 것

  • Qwen Code의 메모리 구조가 사용자의 숙련도·선호도·프로젝트 피드백을 기억한다는 설명
  • “루프 엔지니어링”이라는 표현: 목표 달성까지 반복시키는 프롬프트/운영 방식
  • Goal을 잘 쓰는 법에 대한 후속 강좌 가능성
  • 사람이 크롤링 세부 구현을 직접 알려주지 않아도 에이전트가 방향을 틀 수 있다는 주장

대표 화면 관찰

Qwen 3.7-Max 소개 화면

초반: Qwen 3.7-Max 소개와 모델 성능 설명.

VS Code에서 AGENTS.md 작성

프로젝트 셋업: VS Code에서 목표 파일과 AGENTS.md를 만드는 장면.

코딩 에이전트 디버깅 화면

중반: 에이전트가 코드를 작성·수정하고 디버그 로그를 확인하는 장면.

크롤링 결과 확인 화면

후반: 수집 결과와 네이버 블로그 화면/좋아요 수 확인 장면.

전체 대표 프레임 contact sheet

영상 대표 프레임 60개 contact sheet

프레임은 11분 59초 영상에서 약 12초 간격으로 추출했습니다. 길이가 10분을 넘는 영상이라 세밀한 UI 텍스트 판독보다는 흐름 확인용입니다.

내가 따라 한다면: 안전한 실행 체크리스트

  1. 목표 파일부터 만든다: 검색어, 필요한 필드, 성공 기준을 파일로 적습니다. 예: search_text, 결과 CSV/JSON 스키마.
  2. AGENTS.md에 규칙을 적는다: “실패 원인을 기록”, “테스트 통과 전 완료 보고 금지”, “요청 속도 제한 준수”처럼 프로젝트 룰을 남깁니다.
  3. 성공 기준을 숫자로 준다: “100개 수집”, “중복 제거”, “필수 필드 비어 있으면 재시도”, “샘플 5개 수동 확인”처럼 검증 가능한 조건이 좋습니다.
  4. 크롤링은 허용 범위 확인 후 한다: 서비스 약관, robots.txt, 로그인/개인정보, 과도한 요청을 먼저 점검합니다. 가능하면 공식 API나 공개 RSS를 우선합니다.
  5. 에이전트에게 루프를 맡기되 로그를 남긴다: 실패 원인, 전략 변경, 최종 검증 결과가 남아야 다음 실행에서 재현 가능합니다.

에이전트에게 줄 수 있는 예시 프롬프트

이 프로젝트의 목표는 search_text.txt에 적힌 검색어로 공개 네이버 블로그 글 목록을 수집하는 것입니다.
성공 기준:
1. 중복 제거 후 100개 이상의 글 URL/제목/요약/작성자/수집시각을 JSONL로 저장
2. 가능하면 좋아요 수를 수집하되, 불가능하면 null과 실패 사유를 남김
3. 요청 속도 제한을 지키고, 로그인/차단/캡차/약관 위반 가능성이 있으면 중단하고 보고
4. 실패하면 원인을 MEMORY.md 또는 debug_notes.md에 기록하고 다음 시도에서 같은 실수를 반복하지 않음
5. 최종 보고 전 샘플 5개를 실제로 검증

영상의 아이디어를 안전하게 바꾼 형태입니다. 영상 원문처럼 무작정 “성공할 때까지”보다, 중단 조건과 법적/운영 안전장치를 같이 넣는 편이 낫습니다.

근거와 한계

출처

Published for report.rayp.store · slug: qwen37-naver-crawler-20260628 · source id: S_iiSeo_Hm4