파이썬의 강력한 도구 데코레이터 파이썬은 다양한 프로그래밍 기술을 지원하는 다재다능한 언어입니다. 그 중에서도 파이썬의 데코레이터는 코드 재사용과 함수 감싸기를 간편하게 해주는 강력한 도구입니다. 데코레이터란? 데코레이터는 함수나 메서드의 동작을 변경하거나 확장하기 위해 사용되는 파이썬 함수입니다. 데코레이터를 사용하면 함수의 코드를 수정하지 않고도 함수의 동작을 변경할 수 있습니다. 이는 코드의 재사용성을 높이고, 가독성을 향상시키는 데 큰 도움이 됩니다. @ 기호를 사용하여 함수 위에 표시됩니다. def my_decorator(func): def wrapper(): print("Something is happening before the function is called.") func() print(..
병렬 컴퓨팅 수행하기 파이썬은 데이터 과학 및 기계 학습 분야에서 인기 있는 언어 중 하나로, 데이터 처리와 분석에 탁월한 퍼포먼스를 자랑합니다. 그러나 대규모 데이터셋을 처리하거나 병렬 컴퓨팅을 수행해야 할 때 파이썬이 느리다보니 여러 라이브러리를 사용하면서 극복하고 있습니다. 빠른 처리를 위해 병렬 컴퓨팅 또한 좋은 방법이 될 수 있는데 Dask를 통해서 병렬 처리를 해보는게 어떨까 싶습니다. Dask 소개 Dask는 병렬 컴퓨팅 및 분산 데이터 처리를 위한 파이썬 라이브러리로, NumPy와 Pandas와 유사한 API를 제공하고 대규모 데이터셋을 처리하고 병렬화하는 기능을 제공합니다.즉, Numpy처럼 Pandas처럼 할수 있으면서 병렬처리 기능을 첨가할 수 있다는 얘기입니다. Dask의 주요 기능..
Json 파일 만들기 Json은 자바스크립트의 객체 표기법으로부터 파생된 부분 집합으로 몇 가지 표기법에 의해 구조가 구성됩니다. Json 데이터는 '키 : 값' 의 딕셔너리 형태로 이루어집니다. 콜론으로 구분됩니다. 여러 '키:값'은 쉼표(,)로 데이터를 구분합니다. 객체(object)는 중괄호({})로 표현합니다. 배열(array)은 대괄호([])로 표현합니다. 예를 들어, 어떤 사람의 정보를 객체로 json으로 표현하다고 하면 다음과 같이 할 수 있습니다. { "name": "John", "age": 30, "city": "New York" } 대괄호로 둘러쌓인 값들은 주로 리스트로 표현되는데 이 배열을 쉼표로 구분해서 표현합니다. { "name": "John", "age": 30, "city": ..
파이썬으로 전자책 추출이 된다고? 파이썬으로 전자책을 읽고 쓰는 라이브러리를 소개할까 합니다. 전자책은 뷰어로 보면 되는데 굳이? 라는 생각이 들 수 있으나 이것도 데이터로 생각하면 전자책도 좋은 자원이라서 자연어 처리를 하는 용도로써 사용해보는 것도 좋을 것 같습니다. 이건 연습용입니다. 남의 저작권을 가져다가 상업용으로 쓰려면 그에 대한 저작권 협의가 있어야 함을 꼭 명심하셨으면 좋겠습니다. ebooklib epub는 일반적으로 xml이 압축된 형태로 파일의 형태를 잘 이해하고 있다면 zip을 이용해 압축해제를 해서 어찌어찌 할 수 있는데 약간 복잡합니다. 이런 걸 이미 ebooklib라는 라이브러리를 통해 할 수 있게 되었습니다. 몇 줄의 코드로 epub파일을 불러올 수 있습니다. 설치는 간단합니다..
엑셀 파일 빠르게 읽어보자 빅데이터를 다루다보면 엑셀 파일 불러올 수 밖에 없는데 데이터 자체가 크다보니 불러오는 시간이 많이 소요됩니다. 이걸 여러번 불러온다면 곤욕이 따로 없겠죠? 이전 포스팅에서 xlsx에서 csv로 변환하는 방법을 다뤘었는데 csv로 변환하고 읽는 속도가 약 70배 빨라지는 것을 알 수 있었습니다. 이번 포스팅에서는 본격적으로 불러오는 속도를 극대화하는 방법에 대해 소개할까 합니다. DASK 모듈 이용하기 방법은 생각보다 간단합니다. 데이터를 불러올 때 병렬처리를 한다면 보다 빠르게 불러올 수 있게 됩니다. 그런데 이걸 코드로 만들어내면 귀찮아지니 다 만들어진 모듈을 사용해서 간편하게 불러올 수 있을 거라 생각합니다. DASK라는 모듈을 쓸 건데요. 이 모듈은 파이썬에서 분산 병렬..
xlsx -> csv의 필요성 파이썬에서 xlsx로 작업을 하면 제약사항이 많아집니다. 가장 큰 제약은 느린 불러오기입니다. xlsx를 불러오는 것부터가 곤욕입니다. 그 이후에 판다스에서의 작업은 사실 xlsx 파일과는 무관하기 때문에 상관은 없습니다. 하지만, 계속해서 xlsx를 불러와야 하는 상황이라면 얘기가 달라집니다. 훨씬 빠른 불러오기가 가능한 csv로 변환합니다. 변환을 office를 이용하면 손쉬운데 실제로 해보면 오류도 많고 드럽게 안됩니다. 또한 office는 csv를 했다해도 office에서 원하는 방향으로 만들어지기 때문에 제약이 들어갑니다. 그래서 파이썬 내에서 xlsx를 가져와 csv로 바꿔보겠습니다. xlsx 파일 csv로 변환하기 프로세스는 간단합니다. 판다스로 xlsx 불러오..
문서를 주로 PDF 형식으로 주고받는데 PDF는 수정이 불가합니다. 하지만 수정이 불가능한 PDF 파일의 내용은 가져올 수 있습니다. 사실 워드에 쓰면 되는 것인데 파이썬을 쓰면 이런 일을 조금이나마 줄일 수 있을 것 같습니다. PDF 읽고 추출하기 PDF 파일을 읽고 데이터를 추출하기 위해 파이썬에서는 PyPDF2, pdfminer.six, textract 등의 라이브러리를 활용할 수 있습니다. 이러한 라이브러리들은 PDF 파일을 열어서 내용을 읽고 특정한 텍스트나 이미지 데이터를 추출할 수 있는 기능을 제공합니다. 파이썬 코드를 사용하여 PDF 파일을 열고 원하는 데이터를 추출하는 작업은 데이터 분석, 텍스트 처리, 문서 요약 등 다양한 분야에서 유용하게 활용될 수 있습니다. PyPDF2 설치 pyp..
리스트에서 특정 문자 있는 경우 제거하는 방법입니다. 조건 걸어서 하나씩 지우면 되긴 하는데 이게 될 때가 있고 안 될 때가 있더군요. 그래서 다른 방법을 추천하는 글입니다. 보통 for문으로 제거하려고 할텐데 if 문 써서 리스트 원소의 문자열에 해당 문자가 있으면 remove를 통해 지우려고 할 겁니다. 저도 그렇게 했고요. 그래서 아래와 같이 for문으로 합니다. 그럼 그냥 안된다고 봐야 합니다. search = 'temp' for word in file_list: if search in word: print('원소 제거: ' + word) file_list.remove(word) print(file_list) 전혀 지워지지 않습니다. 그 이유는 인덱스 문제로 remove의 방식 때문인데 인덱스가 ..
I. pyinstaller 소개 파이썬은 간단하고 직관적인 문법으로 인해 다양한 분야에서 사용되고 있습니다. 하지만 파이썬은 실행 파일이 아닌 소스 코드 형태로 제공되기 때문에, 사용자는 파이썬 인터프리터를 미리 설치해야만 해당 코드를 실행할 수 있습니다. 이는 일반 사용자가 접근하기 쉽지 않은 점입니다. 이러한 문제를 해결하기 위해 pyinstaller가 개발되었습니다. pyinstaller는 파이썬 코드를 실행 파일 형태로 패키징하여 사용자가 별도의 파이썬 인터프리터 없이도 해당 프로그램을 실행할 수 있도록 합니다. 이를 통해 파이썬 프로그램의 배포와 실행이 쉬워져 파이썬을 이용한 소프트웨어 개발의 생산성을 높일 수 있습니다. 또한 pyinstaller는 다양한 운영체제와 환경에서 동작하는 실행 파일..
리눅스에서 파이썬 qt designer 실행하는 방법입니다. 윈도우에서는 qt designer.exe 찾으면 그만이지만 리눅스는 그게 자연스러운건 아니니 터미널에서 실행을 하는게 일반적입니다. pyqt5만 설치하면 되는 줄 알았는데 안되고 몇가지를 더 설치해야합니다. terminal에서 다음의 커맨드들을 입력합니다. pip3 install pyqt5 sudo apt install python3-pyqt5 sudo apt install pyqt5-dev-tools sudo apt install qttools5-dev-tools 설치가 잘 되었다면 다음 designer 커맨드를 입력하면 GUI가 뜨게 됩니다. designer 아래 그림과 같이 qt desinger화면이 나옵니다. 이제 좀 더 편하게 코딩을 ..
가상환경 내에서 파이썬 업그레이드하는 방법입니다. 참고로 모듈 버전이 상호호환이 되어야 해서 여러가지 충돌이 있으니 권장하진 않습니다. 파이썬만 덩그러니 버전이 높아지면 특정 모듈은 아예 안될수도 있습니다. 그래도 버전이 크게 변하지 않는다면 가상환경에서 업그레이드 하는게 가장 간편하긴 합니다. 반면에, 버전업 차이가 크면 새로 가상환경을 만드는게 빠를수도 있습니다. 가상환경 만드는 방법은 아래 포스팅에서 확인하시기 바랍니다. 2020.08.14 - [Python/기초] - [Anaconda]가상환경 설치,삭제(32bit 포함) [Anaconda]가상환경 설치,삭제(32bit 포함) 보통 우리는 64bit 환경에서 개발을 합니다만 증권사 api를 쓰기 위해서는 32bit 개발환경이 필요합니다. 물론 다시..
newspaper 모듈 소개 뉴스 스크래핑 하는 방법은 많습니다. 일반적으로 셀레니움이나 requests 써도 되는데 편리함을 추구하는 사람으로써 newspaper를 써봤습니다. (좀... 늦었나?) newspaper는 사용자가 지정한 url에서 text를 추출해주는 모듈입니다. 그러니깐 뉴스말고 웹 전체를 다 텍스트화 한다고 생각하시면 됩니다. 이미지랑 동영상도 가능합니다. 이미지는 다 되는데 동영상은 일부 안 되는 경우도 있습니다. 자세한 내용은 newspaper 공식 가이드에서 확인할 수 있습니다. Newspaper 설치 지금도 python2를 쓰는 분이 있나봅니다. newspaper 설치를 그냥 하면 python2 버전으로 설치되서 python3에서는 안됩니다. # python2 pip insta..
여러문자 한꺼번에 치환하기 파이썬에서 문자열을 다루다보면 특정 문자열을 한꺼번에 다른 문자열로 치환해야 하는 경우가 있습니다. 이번에는 파이썬에서 여러 문자열을 한꺼번에 치환해주는 방법에 대해 알아보겠습니다. replace() 메소드 replace() 메소드는 문자열에서 특정 문자열을 다른 문자열로 치환하는 함수입니다. 다음은 replace() 메소드를 사용하여 문자열 내의 여러 문자열을 한꺼번에 치환하는 방법입니다. text = "apple banana cherry apple banana cherry" text = text.replace("apple", "orange").replace("banana", "kiwi") print(text) 위의 코드에서는 text 문자열에서 "apple"을 "orange..
파이썬을 이용하여 파일을 처리할 때 가장 기본적인 작업은 파일의 경로를 확인하고, 변경하는 것입니다. 또한 파일의 이름을 변경하는 것도 자주 사용되는 작업 중 하나입니다. 이번 포스팅에서는 이러한 기본적인 파일 처리에 대해서 총정리해보도록 하겠습니다. 파일 경로 확인하기 파일 경로는 파일이 저장된 디렉토리 경로와 파일 이 름을 합친 것입니다. 파이썬에서는 os 모듈을 이용하여 파일 경로를 확인할 수 있습니다. 현재 디렉토리의 파일 리스트를 출력하는 코드를 작성해보겠습니다. import os dir_path = os.getcwd() file_list = os.listdir(dir_path) print(dir_path) print(file_list) os 모듈의 getcwd() 함수는 현재 작업 중인 디렉토..
선택정렬이란? 선택정렬은 아주 단순한 정렬 알고리즘입니다. 최소값을 찾은 후 맨 앞에 데이터와 교체하는 것을 반복하는 방법입니다. 당연히 정리가 끝난 인덱스 이후로 반복해야합니다. 다시 처음부터 하면 안됩니다. 내가 최소값을 선택한 후 그걸 맨 앞으로 끌어오는 작업만 하면 됩니다. 그래서 선택정렬이라고 하는게 아닌가 싶습니다. 출처: https://en.wikipedia.org/wiki/Selection_sort 알고리즘 구현 선택정렬은 최소값을 선택하고 지정한 리스트의 앞의 값이랑 비교를 해야합니다. 맨 앞에 있는 값과 최소값을 비교해 작으면 바꿉니다(swipping) 예를 들어, 데이터가 3개 [16,3,8]라면 처음 한 번 실행할때 [16,3,8]의 최소값인 3과 맨 앞값인 16을 앞으로 넣습니다...