임이지의 블로그

You are a deep bug-finding automation focused on high-severity issues.## GoalInspect recent commits and identify critical correctness bugs that escaped review. Only surface issues that would cause data loss, crashes, security holes, or significant user-facing breakage.## Investigation strategy- Focus on behavioral changes with meaningful blast radius.- Look for: data corruption, race conditions ..

Developer/개발일지 2026. 5. 2. 16:56

여러 가지 미세 튜닝 방법가장 일반적인 언어 모델 미세 튜닝 방법은 지시 미세 조정 및 분류 미세 튜닝입니다.이 장의 주제인 분류 미세 튜닝(Classification finetuning)은 머신 러닝에 대한 배경 지식이 있다면 이미 익숙할 수 있는 절차입니다. 예를 들어, 손글씨 숫자를 분류하기 위해 합성곱 신경망을 훈련하는 것과 유사합니다.분류 미세 튜닝에서는 모델이 출력할 수 있는 특정 개수의 클래스 레이블(예: "스팸" 및 "스팸아님")이 있습니다.분류 미세 튜닝된 모델은 훈련 중에 본 클래스(예: "스팸" 또는 "스팸아님")만 예측할 수 있는 반면, 지시 미세 튜닝된 모델은 일반적으로 많은 작업을 수행할 수 있습니다.분류 미세 튜닝된 모델을 매우 특수화된 모델로 생각할 수 있습니다. 실제로는 다..

Developer/IT 도서 2026. 1. 3. 14:10

텍스트 생성 모델 평가하기주요 내용: LM이 생성한 텍스트의 품질 평가 방법을 알아보고, LM을 사전 훈련하는 방법을 준비합니다. 사전 훈련(Pre-training)은 기본적인 언어 이해를 위한 첫 단계 훈련을 의미하며, 이후 미세 튜닝을 통해 구체적인 목적에 활용됩니다.텍스트 생성 과정 복습: 이전에 구현한 GPT 모델을 사용하며, 입력 텍스트를 토크나이저를 사용해 토큰 ID로 변환합니다. 이 토큰 ID를 GPT 모델에 전달하면, 모델은 각 토큰마다 어휘 사전 크기(예: 5257개)만큼의 벡터(로짓)를 출력합니다. 이 로짓 중 가장 큰 값을 가진 토큰 ID를 선택하고, 다시 텍스트로 변환하여 다음 토큰을 생성합니다.텍스트 품질 평가 (손실 계산): 모델이 생성한 텍스트의 품질은 크로스 엔트로피 손실(C..

Developer/IT 도서 2026. 1. 3. 13:41

Whisper는 OpenAI에서 개발한 자동 음성 인식 엔진으로, 다양한 음성 데이터를 텍스트로 변환할 수 있는 강력한 도구입니다. Whisper를 사용하기 위해 아래와 같이 환경을 구축할 수 있습니다. 환경구성 Python 3.7 이상 설치 Python 공식 웹사이트(https://www.python.org/downloads/)에서 적절한 Python 버전(3.7 이상)을 다운로드하고 설치합니다. Python 3.8.10 버전을 사용하는 것을 추천합니다. PyTorch 설치 PyTorch는 딥 러닝 라이브러리로 Whisper를 실행하기 위해 필요합니다. PyTorch의 설치는 공식 웹사이트(https://pytorch.org/get-started/locally/)를 참고하여 본인의 시스템 환경에 맞는 ..

AI/개발도구 2023. 11. 9. 12:09

2판은 생성 AI에 대한 이해를 돕는 유용한 책입니다. 2판은 1판의 내용을 바탕으로 새로운 내용을 추가하고 기존 내용을 보완했습니다. 가장 큰 변화는 아래와 같습니다. MNIST 데이터셋을 사용하여 오토인코더와 GAN의 예제를 실습할 수 있으며, 에너지 기반 모델, 확산 모델, 트랜스포머 등 새로운 생성 모델인 DALL.E 2, Imagen, 스테이블 디퓨전, 플라밍고 등 요즘 화두인 멀티모달 모델을 소개합니다. 전반적으로 2판은 1판보다 내용이 풍부하고 이해하기 쉽습니다. 특히, 새로운 생성 모델과 멀티모달 모델에 대한 소개는 생성 AI 분야의 최신 동향을 파악하는 데 도움이 됩니다. 다만, 2판에서도 일부 내용은 다소 난해할 수 있습니다. 생성 AI에 대한 기본 지식이 없는 독자는 책을 읽기 전에 ..

Developer/IT 도서 2023. 10. 5. 14:34

포켓몬빵 스티커 모으기가 유행인 요즘? 인공지능을 이용하여서 포켓몬 닮은꼴 웹 사이트를 만들어 보기로 한다. 일단 인터넷 검색을 통하여 어떤 포켓몬이 어떤 연예인과 닮았는지 파악을 하고 데이터를 수집하기로 한다. 웹 상에서 단순하게 만들기 위해서 구글에서 제공하는 Teachable Machine 를 이용하기로 한다. 먼저 데이터 전처리 작업 유사 모델을 결정하기 위해 포켓몬스터 닮은꼴 연예인 블로그로 데이터 전처리 작업을 진행 하였다. 조코딩의 동물상 테스트 유튜브를 보고 클론코딩을 하였으며 개발환경은 아래와 같다. 개발환경 구름 IDE - HTML / CSS TeachableMachine - Tensorflow Lite 모델 학습 및 개발 Netlify - 웹 서비스 개발일지 2022-03-23 1차 ..

AI/개발도구 2022. 7. 26. 18:43

이 책은 인공지능의 주요 키워드와 문제점 및 활용 사례에 대해서 소개합니다. 2021년 현재 딥러닝을 우리 사회의 모든 분야에 활용하기 위한 여러 시도를 하고 있습니다. 인공지능을 활용하여 비용절감 등 많은 장점도 있지만 그 외 따른 문제점도 발생합니다. 첫 번째, 인공지능과 윤리 "다른 사람의 안전을 인공지능이 어디까지 보장하는가?", "인공지능의 사회적 책임은 어디까지인가?"와 같은 프레임 문제로 주어진 학습 내용 외에 발생하는 문제에 대한 안전장치가 아직은 부족합니다. 두 번째, 생각하지 못한 문제 저작권 있는 사진을 학습하여 두 개의 사진을 합성한 결과물은 표절인가 아닌가? 대화엔진에 불량한 언어를 학습하여 부적절한 말을 하거나 정치적인 발언을 학습하여 편향된 발언을 하는 문제가 발생하였습니다. ..

Developer/IT 도서 2021. 7. 19. 17:58