구글 키워드 검색결과 가져오기(feat. google search json api)

구글 Custom search json api 가입하기

구글 검색하면 1페이지서부터 여러가지 사이트가 다 뜨는데 이걸 데이터로 받는다면 프로그램으로 활용가능할겁니다. 웹크롤링만이 유일한 해결책인 줄 알았는데 다행히 Google Custom Search API로 제공해줍니다. 이번 포스팅에서는 Google Custom Search API의 가입방법과 key 신청하는 방법을 정리해보겠습니다.

Custom Search Json Api

명칭을 정확히 말하면 Custom Search Json Api 입니다. 홈페이지에서 저도 이게 맞나 싶을정도로 복잡하고 명칭이 중구난방이어서 애를 먹었습니다. 지금은 안 그렇겠죠?

키 가져오기

보통 구글 메일은 왠만하 가지고 있으므로 가입을 하지 않아도 될겁니다. 아래 사이트에서 키 가져오기를 선택합니다.
https://developers.google.com/custom-search/v1/overview?hl=ko

Custom Search JSON API  |  Programmable Search Engine  |  Google for Developers

 

아래처럼 창이 틀텐데요. 그림대로 설정해줍니다. Search Results를 설정해줍니다.

Next를 누르면 아래와 같이 나옵니다. Yes를 선택한 후 Next를 눌러줍니다.

아래 그림처럼 나왔다면 키받기는 성공한 것입니다.
SHOW KEY를 눌러 API 키를 복사합니다.(아주 중요!)
API key는 자산과도 같으니 필히 공개되지 않게 보관을 해주시기 바랍니다.

검색엔진 선택하기

아래 사이트에서 검색엔진을 선택해주어야 합니다. 이 설정을 통해서 검색엔진 ID가 발급되니 잘 따라오세요.
https://programmablesearchengine.google.com/controlpanel/all

로그인 - Google 계정

 

추가 버튼을 눌러 새 검색엔진 만들기를 해봅시다.
검색엔진 이름을 만드시고 검색할 내용을 설정합니다.
예시로 보이기 위해 특정 사이트 또는 페이지 검색을 선택했는데요. 티스토리만 검색결과로 나오게 하겠다면 '*.tistory.com'을 사이트 또는 페이지 입력란에 넣고 추가버튼을 눌러줍니다.

검색 설정에서도 이미지 검색으로서 검색결과를 가져올지 세이프서치를 사용할지 여부를 체크합니다.

모두 되었다면 만들기를 클릭합니다.

개요가 나오는데 여기서 검색엔진 ID을 복사합니다.
반드시 필요한 것이니 복사를 해둡니다.

검색결과 가져오기

만든 키를 가지고 티스토리로 된 것만 가져와보겠습니다.

import requests
GOOGLE_API_KEY = "구글 Custom search json api key"
GOOGLE_CX = "구글 검색엔진 ID"
keyword = '검색할 키워드'

# 구글 검색
google_url = f"https://www.googleapis.com/customsearch/v1?q={keyword}&key={GOOGLE_API_KEY}&cx={GOOGLE_CX}"
response = requests.get(google_url)

if response.status_code == 200:
    data = response.json()
    
print(data['items'][0])

JSON API이니 json으로 받아집니다. 리스트로 변환해서 출력했습니다. 티스토리만 검색하라고 설정해놨기 때문에 티스토리만 검색됩니다.

API 하루 제한

공식 문서에 보면 아래와 같이 되어있습니다.

정리하면 다음과 같습니다.

• 무료 버전: 하루 100개 요청 가능.
• 유료 버전(Google Cloud Custom Search JSON API 이용 시): 1,000개 요청당 $5 요금 부과, 하루 최대 10,000개 요청 가능.
• 한 번의 요청에서 최대 10개의 검색 결과 반환(num=10 기본값, 최대 10).
• 초당 요청 제한(쿼리 속도 조절 필요).

유료 버전으로 변경하지 않으면 절대 요금을 부과되지 않습니다. 하루 요청갯수를 채우면 API 사용이 중단됩니다.

자세한 내용은 가이드 사이트에서 확인하시기 바랍니다.
https://developers.google.com/custom-search/docs/overview?hl=ko

개요  |  Programmable Search Engine  |  Google for Developers

 

마치며

Google Custom Search API를 설정하면, 웹 검색 결과를 자동으로 가져와 데이터 분석이나 콘텐츠 제작에 활용할 수 있습니다. 개인적으로 사이트를 선별해 검색결과를 가져올 수 있다는게 아주 큰 장점으로 다가옵니다. 커스텀이 가능해 다양하게 활용할 수 있으니 한번 사용해보시기 바랍니다.

 

함께 보면 좋은 글

 

네이버, 구글, 유튜브 키워드 검색결과 한꺼번에 가져오기(serp_api)

 

파이썬으로 RSS를 통한 뉴스기사 제목, 링크 가져오기

 

[파이썬] newspaper 모듈로 뉴스 스크래핑하기