임이지의 블로그

AI와 기계 학습의 바다를 항해하기 위해 가장 중요한 개념 중 하나는 '임베딩(embeddings)'입니다. 간단히 말하면, 임베딩은 복잡하고 고차원의 데이터를 저차원 공간으로 변환하는 것입니다. 이것은 마법의 나침반으로 생각할 수 있습니다. 복잡한 언어의 세계(고차원 데이터)를 단순화된 언어(저차원 데이터)로 번역할 수 있는 나침반입니다. 자연어 처리(NLP)의 맥락에서, 우리가 다루는 고차원 데이터는 단어와 문장, 그리고 이들이 가지는 의미와 구문입니다. 다시 말해, 임베딩은 기계가 이해할 수 있는 숫자로 단어를 변환하는 방법입니다. 임베딩(Embedding)과 특성 추출(Feature Extraction)은 데이터의 차원을 줄이고, 데이터를 저차원의 표현으로 변환하는 과정을 수행하는 비슷한 개념입니..

AI/용어 2023. 9. 25. 18:13

오토인코더(Autoencoder)에서 사용되는 임베딩(embedding)은 데이터의 표현을 학습하고 압축하는 데 사용되며, 주로 다음과 같은 역할을 합니다. 인코더 : 네트워크는 이미지 같은 고차원 입력 데이터를 저차원 임베딩 벡터로 압축합니다. 디코더 : 네트워크는 임베딩 벡터를 원본 도메인으로 압축 해제합니다.(예를 들어 이미지로 되돌립니다) 차원 축소(Dimensionality Reduction): 오토인코더는 입력 데이터의 차원을 줄이는 데 사용됩니다. 인코더(encoder) 부분은 입력 데이터를 저차원 임베딩 공간으로 매핑하여 정보를 압축합니다. 이 과정을 통해 더 낮은 차원에서 데이터를 표현함으로써 불필요한 정보나 잡음을 제거하고 데이터의 주요 특성을 보존할 수 있습니다. 특성 추출(Featu..

AI/용어 2023. 9. 25. 15:51

Efficientnet 모델 구성 from torch import nn import timm import torch class EffNet(nn.Module): def __init__(self, backbone, n_out, is_sigmoid): super(EffNet, self).__init__() self.model = timm.create_model(model_name=backbone, pretrained=True) self.model.classifier = nn.Linear(self.model.classifier.in_features, n_out) self.is_sigmoid = is_sigmoid def forward(self, x): x = self.model(x) if self.is_sig..

AI 2023. 7. 6. 09:25

단일 글자로 워드 클라우드를 만들어 보자. https://github.com/amueller/word_cloud clone을 하거나 아래처럼 pip를 이용하여 package를 설치한다. #colab 에서 사용예시 !pip install wordcloud 다음은 mask(동그라미)에 단일 글자를 generate 하는 코드이다. import numpy as np import matplotlib.pyplot as plt from wordcloud import WordCloud text = "square" x, y = np.ogrid[:300, :300] mask = (x - 150) ** 2 + (y - 150) ** 2 > 130 ** 2 mask = 255 * mask.astype(int) wc = Wor..

AI/빅데이터 2023. 2. 7. 09:13

배경제거를 한이 후에 이미지의 경계면을 투명영역이 넓어서 실제 픽셀 영역이 있는 BoundBox를 구하는 것이 필요했다. 파이썬에 bbox를 사용하면 쉽게 처리할 수 있다. 코드는 아래와 같다. 1. PIL (Python Imaging Library) 라이브러리의 Image 모듈을 가져옵니다. from PIL import Image 2. Image.open 메소드를 사용하여 이미지 파일을 엽니다. 이것은 Image 객체를 반환합니다. im = Image.open("image.png") 3. getbbox 메소드를 사용하여 배경이 투명인 영역의 경계 상자를 얻습니다. getbbox 메소드는 경계 상자의 왼쪽, 윗쪽, 오른쪽, 아래쪽 픽셀 좌표를 나타내는 4 개 값의 튜플을 반환합니다. bbox = im.g..

AI/개발도구 2023. 1. 30. 19:48

그림과 같이 빨간색 자동차 이미지가 있을 때 적색 값들 분포가 높습니다. 반면 녹색과 청색은 낮습니다. 정규화를 거치고 나면 모든 색의 분포가 정규분포를 따르게 됩니다. 이렇게 색이 정규 분포를 따르도록 값을 바꾸면 색도 변합니다. 정규화를 거치면 색이 변하더라도 인공지능 입장에서는 색이 갖는 분포가 일정해야 학습을 제대로 할 수 있습니다. import matplotlib.pyplot as plt import torchvision.transforms as T from torchvision.datasets.cifar import CIFAR10 from torchvision.transfomrs import Compose from torchvision.transfomrs import RandomHorizont..

AI/용어 2023. 1. 30. 11:27

포켓몬빵 스티커 모으기가 유행인 요즘? 인공지능을 이용하여서 포켓몬 닮은꼴 웹 사이트를 만들어 보기로 한다. 일단 인터넷 검색을 통하여 어떤 포켓몬이 어떤 연예인과 닮았는지 파악을 하고 데이터를 수집하기로 한다. 웹 상에서 단순하게 만들기 위해서 구글에서 제공하는 Teachable Machine 를 이용하기로 한다. 먼저 데이터 전처리 작업 유사 모델을 결정하기 위해 포켓몬스터 닮은꼴 연예인 블로그로 데이터 전처리 작업을 진행 하였다. 조코딩의 동물상 테스트 유튜브를 보고 클론코딩을 하였으며 개발환경은 아래와 같다. 개발환경 구름 IDE - HTML / CSS TeachableMachine - Tensorflow Lite 모델 학습 및 개발 Netlify - 웹 서비스 개발일지 2022-03-23 1차 ..

AI/개발도구 2022. 7. 26. 18:43

2022.07.26 - [AI/개발도구] - 포켓몬상 테스트 만들기 - 종료 안녕하세요. 오늘은 PWA로 배포하는 방법을 소개하려고 합니다. 앱 개발에는 네이티브 개발 및 크로스 플랫폼 개발 등 여러 개발 방법이 있는데 웹사이트 기반으로 앱을 만들 수 있다고 들어서 궁금해서 시작해 보았습니다. PWA란? 프로그레시브 웹 애플리케이션은 웹을 통해 전달되는 응용 소프트웨어의 일종으로, HTML, CSS, 자바스크립트를 포함한 일반 웹 기술들을 사용하여 만들어진다. 표준을 준수하는 브라우저를 사용하는 어떠한 플랫폼에서라도 동작하도록 고안되었다. 위키백과 PWA를 만드는 방법은 여러 방법이 있는 것으로 파악되었습니다. 저는 그중에 MS에서 만든 Pwabuilder라는 툴을 사용해보려고 합니다. 먼저 https:..

AI/개발도구 2022. 7. 25. 18:52