Web scraping CLI tool that converts any URL to clean Markdown.
npm 한 줄 설치, AI 에이전트와 자동화 파이프라인에 최적.
npm install -g @hashscraper/cli
무료 설치 · 1회 변환 = 10 크레딧 · MIT 라이선스
$ hashscraper https://example.com
# Example Page Title
This is the extracted markdown content...
Clean, structured text ready for your pipeline.
$_
HashScraper CLI is a command-line tool that converts any URL into clean Markdown. It uses server-side browser rendering to handle JavaScript-heavy pages (SPAs). Install via npm, pass a URL, and get structured Markdown output — ideal for RAG pipelines, AI agents, and content automation.
| 패키지명 | @hashscraper/cli |
| 실행 명령어 | hashscraper |
| npm | npmjs.com/package/@hashscraper/cli |
| GitHub | github.com/bamchi/hashscraper-cli |
| Node.js 요구사항 | 18+ |
| 입력 방식 | 단일 URL, 다중 URL, --input (파일) |
| 출력 방식 | stdout, -o, --output-dir, --json |
| 출력 형식 | Markdown (기본), Text (--format text) |
| 과금 | 1회 변환 = 10 크레딧 |
| 다중 URL 처리 | 순차 처리 (sequential) |
| Exit codes | 0 성공 1 전체 실패 2 부분 실패 |
| 라이선스 | MIT |
-o 또는 --output-dir--json--input urls.txt터미널에서 바로 사용할 수 있는 직관적인 CLI 도구
여러 URL을 순차 처리. --input urls.txt로 파일에서 읽기
--json 플래그로 title, description, OG 정보까지 구조화된 JSON 출력
-o file.md 또는 --output-dir ./results로 결과를 바로 파일로 저장
복사해서 바로 실행할 수 있는 명령어
URL을 입력하면 Markdown이 stdout으로 출력됩니다. -o 플래그로 파일에 바로 저장할 수도 있습니다.
# 단일 URL 변환
hashscraper https://example.com
# 파일로 저장
hashscraper https://example.com -o output.md웹 콘텐츠를 구조화된 텍스트로 변환해야 하는 다양한 개발자와 팀
RAG 파이프라인에 웹 콘텐츠를 Markdown으로 주입합니다. LangChain, LlamaIndex 등과 연동하여 AI가 웹 데이터를 이해할 수 있는 형태로 변환합니다.
정기 크롤링 결과를 구조화된 텍스트로 저장합니다. cron + --input으로 배치 자동화가 가능합니다.
경쟁사 및 레퍼런스 페이지를 빠르게 텍스트로 추출합니다. 리서치 시간을 단축할 수 있습니다.
CI/CD에서 exit code(0/1/2)로 성공과 실패를 판별합니다. JSON 출력으로 후속 파이프라인에 바로 연동됩니다.
npm install -g @hashscraper/cli
Node.js 18+ 필요
hashscraper https://example.com
Markdown이 stdout으로 출력
CI/CD 파이프라인과 스크립트에서 exit code로 성공 여부를 판별할 수 있습니다.
| Exit Code | 의미 |
|---|---|
0 |
모든 URL 처리 성공 |
1 |
전체 실패 |
2 |
부분 실패 (일부 성공, 일부 실패) |
What is HashScraper CLI?
HashScraper CLI는 URL을 입력하면 해당 웹페이지의 콘텐츠를 깔끔한 Markdown으로 변환해주는 커맨드라인 도구입니다. npm으로 설치하고 터미널에서 실행합니다.
How do I convert a URL to Markdown?
npm install -g @hashscraper/cli로 설치 후, hashscraper https://example.com 명령어를 실행하면 됩니다. API 키가 필요하며, hashscraper.com에서 발급받을 수 있습니다.
Is it free? How much does one conversion cost?
npm 설치는 무료입니다. URL 변환 시 크레딧이 차감되며, 1회 변환에 10크레딧입니다.
Does it support multiple URLs?
네. hashscraper url1 url2 url3 형태로 여러 URL을 순차 처리합니다. --input urls.txt로 파일에서 URL 목록을 읽을 수도 있습니다.
What types of websites can it convert?
JavaScript로 렌더링되는 SPA 포함, 대부분의 공개 웹페이지를 변환합니다. 서버 사이드 브라우저 렌더링을 사용합니다. 단, 로그인 필요 페이지와 PDF는 지원하지 않습니다.
How is it different from other URL-to-Markdown tools?
서버 사이드 브라우저 렌더링으로 JS 동적 페이지도 완전히 변환하며, exit code(0/1/2)와 JSON 메타데이터를 지원해 CI/CD 및 자동화 파이프라인에 바로 연동됩니다.
What is the difference between MCP server and CLI?
MCP 서버(@scrapi.ai/mcp-server)는 AI 에이전트가 직접 도구로 호출하는 방식이고, CLI는 터미널에서 사람이 직접 또는 스크립트로 실행하는 방식입니다. 같은 HashScraper 엔진을 사용합니다.
옵션 조합 주의사항
-o (단일 파일 저장)는 URL 1개일 때만 사용 가능합니다. 여러 URL을 파일로 저장하려면 --output-dir을 사용하세요.--json과 -o / --output-dir은 동시에 사용할 수 없습니다. JSON 출력은 stdout으로만 제공됩니다.npm 한 줄 설치로 모든 웹페이지를 Markdown으로 변환할 수 있습니다.
npm install -g @hashscraper/cli