python에서 Generator는 일반적인 함수와 달리 스트림 출력을 위해  yield를 사용해 값을 한번에 하나씩 반환하는 함수이다.이러한 Generator는 동기 뿐만 아니라 비동기적으로 작동이 가능하며 AsyncGenerator를 이용해 사용가능하다. Generator는 데이터 스트림을 처리하거나 큰 데이터를 메모리 효율적으로 처리가 가능하다.AsyncGenerator는 비동기 흐름에서 데이터를 처리할 수 있으며 async for 와 await을 통해 작업을 실행한다. Generator 함수의 내부 로직을 모듈화하는 이유는? 단순히 Generator 내부에서 하나의 로직을 통해 처리하면 상관이 없지만 여러 작업이 하나의 함수 내부에 포함되거나분기문으로 여러 조건에 따른 결과를 출력한다면 하나의 G..

[python] 원하는 이미지 데이터셋을 만들고싶은데, 귀찮을 때이미지 데이터셋을 만들려면 직접 웹에서 다운받고 이름 매핑하고 폴도 구조 관리하고 여간 귀찮은 일이 아닐 수 없다..그래서 파이썬 라이브러리에서 이미지 검색쪽을 찾아보니 괜찮은 것이x2bee.tistory.com이 글에 이어지는 내용이다.  원하는 카테고리별로 이미지를 빙에서 가져와서 로컬로 저장하는 로직까지 설명되어있는 글이다. 이제는 검색엔진에 상품 데이터를 저장하는 로직을 추가하려고한다. 여기서 핵심은 이미지를 벡터 임베딩을 해서 저장하는 것이다. 향후 이 벡터값으로 이미지 검색을 했을 때 유사성이 높은 이미지가 검색되도록 하기 위한 것이다. 짧게 설명하자면 검색하고자 하는 이미지 검색 -> 임베딩--------------유사도 계산-..

이미지 데이터셋을 만들려면 직접 웹에서 다운받고 이름 매핑하고 폴도 구조 관리하고 여간 귀찮은 일이 아닐 수 없다..그래서 파이썬 라이브러리에서 이미지 검색쪽을 찾아보니 괜찮은 것이 있어, 공유하고자 한다.  bing_image_donloader  라이브러리이다. 이 라이브러리는 bing 이미지 검색 엔진에서 이미지를 손쉽게 다운로드할 수 있는 라이브러리이다. 특정 키워드만 있으면 원하는 이미지를 다운받을 수 있다. 키워드는 카테고리라고 생각하면된다. - 파라미터 keyword: 검색할 키워드.limit: 다운로드할 이미지의 최대 개수.output_dir: 이미지를 저장할 디렉토리 경로.adult_filter_off: 성인 콘텐츠 필터 설정 (True: 필터 사용, False: 필터 사용 안 함).for..

Topic. 파이썬 패키지 불러오기 파이썬 패키지를 찾는 경로는 sys.path 안에서 찾습니다. [ In 1 ] import sys print(sys.path) [ Out 1 ] ["/root/python_project","/root/home","/root/anaconda3"] sys.path 는 문자열로 구성된 리스트입니다. 내가 찾고자 하는 파이썬 파일의 경로가 sys.path list에 들어있지 않다면? import sys sys.path.append("/root/my_folder/python") import my_python_file 위와같이 sys.path 에 append 후 불러오면 됩니다.

numpy 선언 In [6]: import numpy as np In [7]: x = np.array([1.0, 2.0, 3.0]) x Out[7]: array([1., 2., 3.]) 산술연산 두개의 배열, 각 원소별 계산 In [9]: x = np.array([1.0, 2.0, 3.0]) y = np.array([2.0, 4.0, 6.0]) Out[9]: array([0.5, 0.5, 0.5]) In [10]: x+y Out[10]: array([3., 6., 9.]) In [11]: x-y Out[11]: array([-1., -2., -3.]) In [12]: x*y Out[12]: array([ 2., 8., 18.]) In [13]: x/y Out[13]: array([0.5, 0.5, 0.5..

정의 코사인 유사도(― 類似度, 영어: cosine similarity)는 내적공간의 두 벡터간 각도의 코사인값을 이용하여 측정된 벡터간의 유사한 정도를 의미한다. 유클리드 거리 유클리드 거리(Euclidean distance)는 두 점 사이의 거리를 계산할 때 흔히 쓰는 방법이다. 이 거리를 사용하여 유클리드 공간을 정의할 수 있으며, 이 거리에 대응하는 노름을 유클리드 노름(Euclidean norm)이라고 부른다. 딥러닝은 지정된 답안지 안에서 때려 맞추는 것부터 시작한다. 코사인 유사도와 유클리드 거리를 이용하여 정답에 근접할 때까지 계속 시도한다. from numpy import dot from numpy.linalg import norm # 코사인 유사도 계산식 dot(A, B)/(norm(A..