beautiful soup를 이용한 크롤링

youtube 사이트 정보를 읽어서 간단한 유튜브 동영상 뷰 사이트를 만들어 보려고 한다.
소스는 github  https://github.com/shsong97/kids-tv.git 에 있다.

beautiful soup를 이용한 크롤링을 해보자.
BeautifuleSoup 사이트에 가면 사용방법이 자세히 나와있다.

우선 다운로드를 하려면 커맨드 창에서 아래와 같이 입력한다.

pip install beautifulsoup4

내가 작성한 youtube 크롤링 방법은 아래의 소스를 받으면 된다.

https://gist.github.com/shsong97/f15d7e03135f018cacac


# -*- coding: utf-8 -*-
 
from bs4 import BeautifulSoup
import urllib
 
query = u'소피아'.encode('utf-8')
url = 'https://www.youtube.com/results?search_query=' + query
html_doc = urllib.urlopen(url)
soup = BeautifulSoup(html_doc)
links = soup.findAll('div', attrs={'class':'yt-lockup-dismissable'})
 
for link in links:
    #img = link.find('img')['src']
    img = link.find('div',attrs={'class':'video-thumb'}).find('img')
    try:
        if img['data-thumb'] != '':
            print img['data-thumb']
        else:
            print img['src']
    except:
        print img['src']

유튜브에서 검색을 해보면 url에 있는 것과 같이 검색이 되는데
여기서 우리가 검색할 단어만 query에 넣어주면 된다. 한글문제가 있어 encode함수를 통해 utf-8로 변환을 해준다.

기본적으로 url 정보를 넘겨서 html 문서를 받은 다음 BeautifulSoup에 넘겨주면 사용이 가능하다.


html_doc = urllib.urlopen(url)



soup = BeautifulSoup(html_doc)
그 다음은 html 문서를 분석해서 찾고 싶은 tag로 find, findall 함수를 이용해서 찾으면 된다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

dtsrun 실행하기

Store Procedure 로 수행하기 아래와 같이 명령문을 입력한다 S는 서버명 N은 패키지 명입니다. 슬래시 뒤에 물결표(~)가 있는 글자(예:  /~Z )는 매개 변수 값이 암호화되어 있고 뒤에 오는 값이 암호화된 값의 16진수 텍스트라는 것을 지정합니다 자세한 내용은 아래에 있는 MSDN 내용을 참고하시기 바랍니다. 명령문) dtsrun /S server_name  /U user_nrame  /P password  /N package_name  /M package_password  /R repository_name 사용예) select @mat_cmd='DTSRun /S "(local)" /N "Dts이름"  /E'   exec master..xp_cmdshell @mat_cmd MS-SQL 스케줄에 등록하기 1) 작업을 추가하고 작업 유형에 운영체제명령(CmdExec)를 선택한다. 2) 명령에 DTSRun /~로컬패키지코드 MSDN에 나와있는 dtsrun 실행하는 방법) dtsrun 유틸리티 dtsrun 유틸리티는 데이터 변환 서비스(DTS)를 사용하여 만들어진 패키지를 실행합니다. Microsoft® SQL Server™ msdb 데이터베이스, COM 구조 저장소 파일 또는 SQL Server 메타데이터 서비스에 DTS 패키지를 저장할 수 있습니다. 구문 dtsrun  [/?] | [     [         /[~]S server_name[\instance_name]          { {/[~]U user_name [/[~]P password]} | /E }     ]   ...
자세한 내용 보기

[MS SQL] SP수행 시간 및 작업빈도 확인

SQL 2008 에서   제공하는 sys . dm_exec_procedure_stats, sys . dm_exec_sql_text, sys . dm_exec_query_plan 를   통해   시스템에서   가장   많이   사용하는   것과   읽기 / 쓰기를   많이   하는  SP 를   추적하여 성능   모니터링에   이용할   수   있다 . 주석으로   되어   있는   부분을   적절히   풀어서   필요에   맞게   수정하여   사용   가능 . ALTER   PROCEDURE  SP_CHECK_FRQ     @EXE_COUNT  INT = 100 ,     @WORK_TIME  float = 50 ,     @WRITE_COUNT  INT = 1 AS BEGIN -- SP_CHECK_FRQ 10,50,1      SELECT   *      FROM  ( select              DB_NAME ( qt . dbid )   as   'DB 명 ' ,              OBJECT_NAME ( qt . objectid ,  qt . dbid )   as...
자세한 내용 보기

Slug가 뭘까?

IT와 관련된 글을 읽다보니 slug라는 말을 자주 보게 되는데 뜻이 뭔지 궁금해서 찾아보게 되었다. 인터넷으로 찾아보니 제일 먼저 보이는게 아래 2개 단어이다. 1) 슬러그는 야드파운드법의 중력단위계에 속하며 질량의 단위이다 2) 민달팽이 민달팽이는 가끔 영어를 보다보면 나와서 그런가 했는데, IT 용어는 아닌것 같아 더 검색을 해보니 인터넷 용어중에 하나로 위키피디어에서 시맨틱 URL을 정의하는 말 중에 다음과 같이 정의하고 있다. 첫줄에 보면 사람이 읽을수 있는 키워드를 사용해서 URL의 한 부분을 slug라고 한다. 지금 사용하고 있는 블로그도 일종의 slug를 이용한 주소체계를 갖추고 있다고 볼 수 있다. 아래는 위키피디어 본문. http://en.wikipedia.org/wiki/Semantic_URL Slug [ edit ] Some systems define a  slug  as the part of a URL which identifies a page using  human-readable  keywords. [4] [5]  It is usually the end part of the URL, which can be interpreted as the name of the resource, similar to the basename in a  filename  or the title of a page. The name is based on the use of the word  slug  in the news media to indicate a short name given to an article for internal use. Slugs are typically generated automatically from a page title but can also be entered or altered manually, so that...
자세한 내용 보기