노션에 글,기사 모으기 저는 용도별로 노트앱을 쓰는데 그 중에 하나가 노션입니다. 주로 삶의 목표나 독후감이나 프로젝트 정리할 때 쓰고 있습니다. 개인적으로 노션의 가장 좋은 점은 데이터베이스가 가능하다는 것인데 간혹 괜찮은 블로그글이나 두고두고 봐야할 글이 웹상에 있으면 이걸 정리하기가 어렵습니다. 링크야 금방 가져올 수 있는데 내가 따로 정리를 해야하는 번거로움이 있습니다. 귀찮기도 해서 정리를 안하고 있으면 어느순간 글이 엄청 쌓여서 다시 보려고 가져온 글을 다시 찾고 앉아있습니다. 이를 해결할 수 있는 방법은 자동으로 글을 정리할 수 있는 것인데 노션의 데이터베이스를 이용하면 할 수 있을까 해서 시도를 해보았습니다. Notion web clipper 설치 이걸 생각하게 된것이 우연히 스마트폰으로 ..
newspaper 모듈 소개 뉴스 스크래핑 하는 방법은 많습니다. 일반적으로 셀레니움이나 requests 써도 되는데 편리함을 추구하는 사람으로써 newspaper를 써봤습니다. (좀... 늦었나?) newspaper는 사용자가 지정한 url에서 text를 추출해주는 모듈입니다. 그러니깐 뉴스말고 웹 전체를 다 텍스트화 한다고 생각하시면 됩니다. 이미지랑 동영상도 가능합니다. 이미지는 다 되는데 동영상은 일부 안 되는 경우도 있습니다. 자세한 내용은 newspaper 공식 가이드에서 확인할 수 있습니다. Newspaper 설치 지금도 python2를 쓰는 분이 있나봅니다. newspaper 설치를 그냥 하면 python2 버전으로 설치되서 python3에서는 안됩니다. # python2 pip insta..