배경 노래를 꽤 다양하게 듣는 편인데 최근 한국 노래들에 이지리스닝류가 많아지기도 했고, 한국어 가사의 비중이 점점 줄어들고 있는 등 한국 노래 가사의 트렌드가 궁금해져서 한번 데이터를 분석해보기로 했다. 데이터는 멜론 연대별 TOP 100 차트로부터 제목/가수/가사 정도만 수집했고, 기억이 맞다면 약 8시간정도 걸렸다. 정말 영어가 많아졌는가? 마침 1964년부터 2023년까지 60년의 데이터가 쌓였고, 결론부터 말하자면 영어 비중은 많아졌다. 2023년에 들어서는 영어 가사의 비중이 25% 를 넘을 정도로 많아졌고, 최근에 사람들이 이런 사실을 체감하는 이유는 2011년 이후로 10년만에 영어 비율이 더 커지고 있기 때문으로 보인다. 영어 비중은 2008~2012년 사이에 잠시 상승하고 그 뒤로는 ..

함수의 실행 속도를 측정하는 코드이다. 다음과 같이 함수들을 미리 선언해둔다. import time def measure(func): """ Returns milliseconds how much time takes to run given func """ start = time.time() func() end = time.time() diff = end - start return diff * 1000 def bench(func, k: int = 1, params: list = [{}], title: str = ''): pcnt = len(params) pstr = f" x {pcnt} params" if pcnt > 1 else '' print(f"[run x {k}{pstr}] {title}") t = ..

최근에 회사에서 간단하게 파이썬으로 스크립트를 작성하다가 데이터베이스를 사용해야할 일이 있었다. 간단한 목적이라 단순한 연산들만 있으면 되는데, 불필요하게 거대한 사이즈의 패키지들(SQLAlchemy, PyMongo 등)을 설치해야하는 게 불편했다. 왜냐하면 경험상 이것들은 초기에 별도로 설정해야하는 작업이 굉장히 많기 때문이다. 그래서 in-memory 여도 좋으니 간단한 설정으로 마치 json 객체처럼 사용할 수 있는 패키지가 있는 지 찾아보았는데, 이 당시에는 찾지 못했다. 개발을 꽤 마친 이후에 tinyDB 라는 아주 비슷한 동작의 패키지를 발견했다. (지금와서 보면 dict 호환성 측면에서 아주 미묘하게 다르다.) 그럼 패키지를 사용하지 않고 built-in 패키지인 json 으로 커버하자니, ..

VSCode에서 파이썬 프로젝트를 작업하다보면, 분명 pip로 설치한 패키지인데 import 하는 코드에 밑줄이 있는 경우가 있다. 이럴 때 커서를 가져다대서 이유를 확인해보면 Import "" could not be resolved 인 경우가 많은데, 어쨌건 해당 모듈을 찾을 수 없다는 뜻이다. VSCode를 열었을 때, 같은 디렉토리에 가상 환경이 있다면 알아서 잡아주지만, 그렇지 못한 경우도 있다. 가상환경이 활성화 된 경우에는 VSCode 오른쪽 하단에 아래와 같이 표시된다. 위와 같은 창을 못 봤다면, 직접 고를 수 있다. "상단 메뉴 > View > Command Palette" 또는 "Ctrl+Shift+P" 로 명령어 실행 창을 띄워서 "Python: Select Interpreter" 를..

개요 아나콘다(Anaconda)는 파이썬의 버전과 패키지들의 버전을 쉽게 관리할 수 있게 해주는 강력한 솔루션이다. 하지만 200명 이상 규모의 회사에서는 개인용 버전인 Anaconda Distribution을 사용할 수 없다고 한다. 그리고 어떤 패키지들은 아나콘다에서 추적하지 못할 수도 있다. 파이썬의 버전과 각 프로젝트에 맞는 가상환경을 쉽게 구축하고 관리하는 것을 아나콘다의 기능이라고 보고, 이번 글에서는 아나콘다를 사용하지 않고 classic하게 관리하는 환경을 구축한다. 먼저, 크게 세 가지로 나눠서 접근해보자. 파이썬 버전 관리 패키지 관리 가상 환경 관리 파이썬 버전 관리 파이썬은 특정 패키지들이 버전을 지원하지 않으면 버전을 내려야하는 경우들이 종종 있다. 예를 들면 Python 3.7 ..

패키지를 설치하다보면, 모종의 이유로 wheel을 직접 다운로드하는 경우가 있다. wheel을 직접 다운로드 하려고하면, 설치하려는 환경에 따라서 whl 파일이 엄청나게 많은데, 그럴 때마다 운영체제, 비트, python 버전 등을 전부 한번씩 확인하게 된다. 잘못된 whl 파일로 설치하려고 하면 아래와 같은 에러를 만나서 무척 피곤해진다. ~~.whl is not a supported wheel on this platform. 2018년에 TensorFlow의 GitHub repository에서 동일한 질문이 있었고 https://github.com/tensorflow/tensorflow/issues/9722 , 아래와 같이 엄청 간단한 커맨드로 쉽게 확인할 수 있었다. Linux/Mac $ pytho..

오류 Beanie Document를 사용하는 Pydantic 모델을 pytest에서 사용하려고 할 때, collection이 초기화 되지 않았다는 오류가 나오면서 테스트 실행 자체를 실패한다. MongoDB와 관련해서 초기화를 하지 못했다는 내용 같은데, fixture 같은 걸로 테스트 실행 전에 아래처럼 추가해줘도 마찬가지로 발생한다. @pytest.fixture(autouse=True) async def test_client(): client = AsyncMongoMockClient() await init_beanie(document_models=[TestModel], database=client.get_database(name="db")) 계속 발생하는 beanie.exceptions.Collect..

설명 이미지들의 평균 픽셀값을 확인하고 싶은 경우에 사용하면 된다. 오래 걸리는 경우에 로딩을 표시하려고 tqdm을 사용했는데 그냥 빼도 된다. 이미지의 픽셀값을 전부 다 저장하고 평균을 출력하다간 메모리가 터진다. 그래서 Moving average로 해결했다. 코드 HTML 삽입 미리보기할 수 없는 소스 결과 아래와 같이 1,000장 정도 되는 얼굴 사진을 모두 겹쳐서 그려볼 수 있다.