X(트위터) 광고 수익 조건 달성을 위한 트윗 자동화 - 1편
X(트위터)에서 광고 수익을 올리기 위한 전략과 자동화 프로세스를 소개합니다. 트래픽 증가, impressions 달성, 주제 선정 등의 개요를 다룹니다.
TABLE OF CONTENTS
1. 누구나 다 해보는 크롤링(crawling)할때 주의 할 점 3가지
최근 학원이나 온라인 교육 사이트에서 소프트웨어 교육과정에 꼭 들어가는게 크롤링입니다.
빅데이터 분석과정에도 빠지지 않고 꼭 등장하는 크롤링 기술인데, 대충 만들어서는 내가 원하는 데이터의 10%도 수집하지 못하게 되는 경우가 있습니다. 많은 시간을 투자하여 개발하였지만 문제를 나중에 발견하게 되어 낭패를 보게 될 가능성이 있습니다.
그럼 먼저 크롤링에 대해 알아보고 왜 10% 밖에 수집 못한다고 주장하는지, 그럼 어떻게 그 문제를 해결할 수 있는지에 대해 알아보겠습니다.
크롤링 교육 광고
크롤링이란?
크롤링(crawling) 혹은 스크레이핑(scraping)은 웹 페이지 를 그대로 가져와서 거기서 데이터를 추출해 내는 행위다. 크롤링하는 소프트웨어는 크롤러 (crawler)라고 부른다.
그럼 크롤러를 개발할 때 주의할 점에 대하여 알아보시죠.
1) 파이썬이 최선일까?
데이터 분석에 파이썬이 주로 쓰이다 보니 대부분의 교재나 교육프로그램에서 파이썬을 사용하여 크롤러를 만듭니다. 하지만 반드시 파이썬을 써야 할 필요는 없다. 우리 회사 해시스크래퍼 는 루비(Ruby)로 만들고 있습니다.
목적만 달성한다면 어떤 도구를 쓰든 상관 없지만 널리 쓰이는 파이썬을 선택하는 건 좋은 선택이라고 생각합니다. 노하우(know how)가 아니라 노웨어(know where)가 더 중요한 시대인지라 검색을 통해 문제를 해결하기 쉬운 언어를 선택하는것은 똑똑한 선택입니다. (하지만 그래도 저는 쉽고 편한 루비를 선택했습니다)
2) IP차단
책을 보고 열심히 타이핑하고 이해하며 크롤러를 만들어 돌려보면 처음에는 잘 됩니다. 하지만 규모가 좀 있는 대형 사이트를 대상으로 데이터를 수집하다보면 다음과 같은 상황에 마주치게 됩니다.
❗️ 접속이 차단되는 경우
❗️ 로그인을 하라고 하는 경우
❗️ 캡챠가 뜨는 경우
❗️ 엉뚱한 페이지로 이동되는 경우
웹 서버는 당신의 IP를 알고 있기 때문에 짧은 주기로 웹 페이지를 요청할 경우 일정시간 IP가 차단될 수 있습니다.
IP차단을 해결하려면 어떻게 해야할까요? 더 많은 IP가 있으면 됩니다. 심플하지만 현실적으로 어려운 방법이죠.
그래서 해시스크래퍼는 3년 전 쯤 부터 AWS EC2 여러개를 사용하여 데이터를 수집하고 있습니다. 또한 수집 할 데이터량에 따라 AutoScaling 기술을 적용하여 서버 수를 늘리고 줄이는것을 자동으로 하고 처리하고 있습니다.
또 연속 실패를 반복하는 서버는 스스로 종료시키고 다른 인스턴스를 생성하여 새로운 IP를 할당 받아 사용합니다.
2. 결론
과제나 리포트 작성을 위한 데이터 수집 정도는 기초적인 크롤러를 만드는 것 만으로도 충분합니다.
그러나 업무(마케팅, 트랜드분석, 플랫폼 기초 데이터, 인플루언서 검색 등)에 활용하려면 제대로 된 크롤링 시스템을 갖추는 것을 추천드립니다.
Related Posts
ChatGPT에 HTML 넣기 힘드신가요? 클로드(Claude)를 써보세요
Claude를 활용하여 ChatGPT에 크림(Kream)의 HTML을 입력하고, 이를 기반으로 실시간 차트를 크롤링하는 방법을 알아보세요.
Made with Bullet