임이지의 블로그

단일 글자로 워드 클라우드를 만들어 보자. https://github.com/amueller/word_cloud clone을 하거나 아래처럼 pip를 이용하여 package를 설치한다. #colab 에서 사용예시 !pip install wordcloud 다음은 mask(동그라미)에 단일 글자를 generate 하는 코드이다. import numpy as np import matplotlib.pyplot as plt from wordcloud import WordCloud text = "square" x, y = np.ogrid[:300, :300] mask = (x - 150) ** 2 + (y - 150) ** 2 > 130 ** 2 mask = 255 * mask.astype(int) wc = Wor..

AI/빅데이터 2023. 2. 7. 09:13

OLTP 온라인 거래 처리 여러 단말에서 보낸 메시지에 대해 호스트 컴퓨터가 DB 접근 및 처리 결과 반환함 데이터 갱신을 위주로 진행하는 Processing OLAP 온라인 분석 처리 정보 위주의 분석 처리 다양한 비즈니스 관점에서 쉽고 빠르게 다차원적 데이터에 접근하여 의사결정에 활용할 수 있는 정보를 제공해주는 기술 데이터 조회를 위주로 진행하는 Processing BI 데이터를 통합/분석하여 기업 활동에 연관된 의사결정을 돕는 프로세스를 말한다. 데이터 기반 의사결정을 지원하기 위한 리포트 중심의 도구이다. BA 데이터 통계를 기반으로 성과에 대한 이해와 비즈니스 통찰력에 초점을 둔 분석 방법이다 데이터 사이언스 컴퓨터공학, 통계학, 수학 등의 학문적 지식은 물론 시각화 및 해커로서의 소양에 이르..

AI/빅데이터 2021. 5. 21. 16:27

Q. 데이터 베이스 구성요소로 용어와 의미가 바르게 연결된 것은? A. 메타데이터, 인덱스 메타데이터란? 데이터에 대한 데이터라고도 불리우며 대량의 정보 가운데 찾고 있는 정보를 효율적으로 찾아내서 이용하기 위해 일정한 규칙에 따라 콘텐츠에 부여되는 데이터. 데이터 및 구조화된 정보를 분석, 분류하고 부가적 정보를 추가하기 위해 그 데이터 뒤에 함께 따라가는 정보. 인덱스란? 원하는 형태의 배열과 찾아보기를 가능하게 해주는 기능으로 색인 또는 목록이라는 의미한다. 데이터를 기록할 경우 그 데이터의 이름, 데이트 크기 등의 속성과 그 기록장소 등을 표시한 것(참조용의 데이터) SOW(Statement of work) 작업 지시서, 고객의 요구 사항 및 프로젝트의 결과 등을 상세히 기술해 놓은 명세서. 데이..

AI/빅데이터 2021. 5. 19. 18:30

Q. 사생활 침해에 따른 포괄적인 해결책으로 적절한 것은? A. 개인정보 사용자의 책임 사생활 침해 특정 데이터가 본래 목적 외에 가공 처리 되 2차 3차 목적으로 활용될 가능성이 증가하면서 위험의 성격도 사생활 침해를 넘어 사회, 경제적 위협으로 변형될 수 있다는 점에서 더 큰 우려를 내포하고 있음. 이러한 상황 방지하기 위해 사생활 침해와 관련하여 데이터에 포함된 개인 식별 정보를 삭제하거나 알아볼 수 없는 형태로 변환하는 익명화 기술이 발전함. 책임 원칙 훼손 영화 '마이너리티 리포트'는 범죄 예측 프로그램에 의해 범행을 저지르기 전에 체포되는 내용임. 빅데이터 기반 분석과 예측 기술을 발전하면서 정확도가 증가한 만큼, 분석 대상이 되는 사람들은 예측 알고리즘의 희생양이 될 가능성도 올라감 데이터 ..

AI/빅데이터 2021. 5. 19. 18:22

연관규칙학습 예) 우유 구매자는 기저귀를 더 많이 구매하는가? 유형분석 예) 이사용자는 어떤 특성을 갖는가? 유전알고리즘 예) 최대의 시청률을 얻으려면 어떤프로그램을 어떤 시간대에 방송해야하는가? 감정분석 예) 새로운 환불 정책에 대한 고객이 평가는 어떤가? 회귀분석 예) 구매자의 나이가 구매 차량의 타입에 어떤영향을 미치는가? 기계학습 예) 기존의 시청 기록을 바탕으로 시청자가 현재 보유한 영화 중에서 소셜 네트워크 분석 예) 특정인과 다른 사람이 몇 촌 정도의 관계인가? 데이터베이스 설계 절차 요구사항 분석으로 적절한 것은? 오류가 발생하면 이전 단계로 되돌아가 설계 내용을 변경 가능함 요구사항분석 -> 개념적 설계 -> 논리적 설계 -> 물리적 설계 -> 구현 OLTP : 온라인 거래 처리 OLAP..

AI/빅데이터 2021. 5. 19. 18:06

워드클라우드를 만드는 도중 한글 단어가 출력되지 않는 문제가 발생하였다. 상기문제는 한글FONT 를 설정하지 않아서 생긴 문제다. 아래처럼 한글 폰트의 경로를 추가한다. wc = WordCloud(max_words=2000, mask=parrot_mask, font_path="C:\Windows\Fonts\H2HDRM.TTF",max_font_size=40, random_state=42, relative_scaling=0) #wc = WordCloud(max_words=2000, mask=parrot_mask, max_font_size=40, random_state=42, relative_scaling=0) 한글폰트를 추가후 확인시 한글이 정상적으로 표현되는 것을 확인 할 수 있다. 전체소스 """ Im..

AI/빅데이터 2021. 4. 6. 15:27

https://github.com/chrisdavies/Sparc.TagCloud 사용법은 아래와 같이 심플 하다. var analyzer = new TagCloudAnalyzer(); // blogPosts is an IEnumerable, loaded from // the database or whatevz. var tags = analyzer.ComputeTagCloud(blogPosts); // Shuffle the tags, if you like for a random // display tags = tags.Shuffle(); 해당 프로젝트의 특징은 tag(word)를 간소화 해주는것이 특징이다. Example sentence lemmatized WORD ==> LEMMA On ==> on t..

AI/빅데이터 2021. 3. 31. 12:22

https://github.com/epicdevs/Word-Cloud/ 분석해 볼 만한 소스를 찾았다. StringProcessor class 분석 문장을 읽으며 " " 기준으로 문자열을 읽고 removePunctuations 메서드를 통해 {} 대괄호, 숫자 등을 제거한 순수 단어만 추출한다 filter.contains를 통해 blacklist(제외) 등록된 단어인 경우 제외한다 HashMap에 단어를 등록하면서 weight를 적산한다 이후 우선순위 큐에 weight 기준으로 원소를 삽입한다. public class StringProcessor implements Iterable{ private String str; private final HashSet filter; private ArrayList ..

AI/빅데이터 2021. 3. 31. 12:20