자동 뉴스 크롤링과 Notion 콘텐츠 자동화 | Claude MCP로 구현하기

• 이 글에서는 Claude MCP와 Firecrawl을 활용하여 자동 뉴스 크롤링 및 Notion 콘텐츠 자동화 시스템을 구축하는 방법을 소개합니다.
• Keywords: 클로드, MCP, Firecrawl, 크롤링, Notion

---

chatGPT가 만든 뉴스를 크롤링하는 AI 모습 (썸네일)

 

 

이 워크플로우는 다음의 주요 단계로 구성됩니다:

오늘은 Claude MCP 활용법을 소개합니다. Firecrawl을 통해 AI 뉴스를 자동으로 수집하고 Notion에 수집한 정보를 자동으로 업로드, Claude를 통해 콘텐츠 재작성을 하는 과정을 MCP를 통해 자동화 합니다.

 

💡 Claude MCP와 Firecrawl의 핵심 구성요소

1. 데이터베이스 구조 설계

프로젝트에는 두 개의 주요 데이터베이스가 사용되었습니다:

• Crawling.mcp: 원본 뉴스 스크랩 저장
  - 속성: 이름, 카테고리, 상태(수집/작성/배포), 중요도, 블로그 글(관계)
• Articles.mcp: 작성된 블로그 글 관리
  - 속성: 이름, 카테고리, 상태(초안/검토중/발행), 작성일, 작성자, 태그, 공개여부, 원본글(관계)

2. 자동 뉴스 크롤링을 위한 워크플로우 구성 단계 📰 

 

(1) 뉴스 수집 단계:

✔️  Firecrawl MCP 설치하기 : GitHub - mendableai/firecrawl-mcp-server: Official Firecrawl MCP Server - Adds powerful web scraping to Cursor, Claude and any other LLM clients.

GitHub - mendableai/firecrawl-mcp-server: Official Firecrawl MCP Server - Adds powerful web scraping to Cursor, Claude and any o

 

✔️ Firecrawl 가입 및 API 발급받기

Firecrawl

 

👉 Firecrawl MCP 설치 가이드: https://github.com/mendableai/firecrawl-mcp-server

 

GitHub - mendableai/firecrawl-mcp-server: Official Firecrawl MCP Server - Adds powerful web scraping to Cursor, Claude and any o

 

✔️클로드에게 MCP 를 활용해 뉴스 크롤링을 시켜봅니다.

📜 프로프트 : 
TechCrunch AI Category에서 최신(~3일 이내), 조회수 높은 Top news 3개를 수집해서 Notion에 업로드할 수 있는 형태의 문서로 우선 정리해줘.

 

✔️ Crawling.mcp 데이터베이스에 저장 (데이터베이스의 속성 값 생성 및 입력 요청)

클로드 MCP 기능으로 Firecrawl 사용해서 뉴스 스크랩 & Notion에 업로드하는 화면

 

(2) 콘텐츠 작성 단계:

 

✔️ Crawling DB의 상태를 '작성'으로 변경하면 작성 대상으로 인식

✔️ Claude가 원본 기사를 참조하여 블로그 형식으로 재작성

✔️ Articles.mcp에 구조화된 형태로 저장 (초안 상태)

✔️ 양방향 참조 설정: Articles DB의 '원본글' 속성 ↔ Crawling DB의 '블로그 글' 속성 (데이터베이스 간 관계형 설정)

클로드로 Notion DB에서 '상태'값이 일치하는 글 조회, 블로그 글 작성, 'posting용 DB'에 업로드, 양 DB에서 관계형 맺기 화면 캡쳐

 

📌 실제 적용 사례
"OpenAI 모델이 저작권 콘텐츠를 '암기'했다"는 TechCrunch 기사를 기반으로, Claude가 아래와 같이 블로그 글을 재구성했습니다.

 

Notion 데이터베이스에 MCP를 통해 글을 업로드한 모습 캡쳐

 

 

---

🔮 미래 개선 방향

이 워크플로우는 다음과 같은 방향으로 개선될 수 있습니다:

1. 자동화 수준 강화: Zapier/Make.com 등 통해 완전 자동화된 파이프라인 구축
2. 분석 기능 추가: 트렌드 분석, 키워드 추출 등 추가 인사이트 제공
3. 멀티 소스 통합: 다양한 뉴스 소스에서 콘텐츠 수집 및 비교
4. 정기 발행 시스템: 뉴스레터 등 정기 콘텐츠 생성 시스템과 연계

💭 결론

이 프로젝트는 클로드 MCP 를 활용하여 뉴스 자동 수집, 콘텐츠 생성, Notion 업로드 워크플로우를 자동화 하는 방법을 알아보았습니다. 데이터베이스 간 관계 설정과 상태 관리를 통해 효율적인 콘텐츠 관리 시스템을 구축할 수 있었으며, 향후 확장 가능성도 높습니다. 

기존 Make 같은 자동화 Tool을 활용할 때보다 훨씬 간단하며, Make 시스템 구축 시 시행착오와 수작업을 대폭 줄여줘서 굉장히 편리합니다. Make 도 굉장히 혁신적이라 생각했는데, MCP가 곧 보편화 되면 Make 굳이 결제하지 않아도 될 것 같습니다.

 

이제 Claude MCP를 활용하여 여러분만의 자동화 시스템을 구축해보세요! 궁금한 점이나 공유하고 싶은 경험이 있다면 댓글로 남겨주세요.