[29일차] ABC 부트캠프 / 제 3회 ESG Day

오늘은 3회이자 마지막 ESG 강연이 있는 날이다. 오늘의 강연 주제는 우리 지역, 로컬 이야기-지역 리서치 프로젝트 사례이다. 오늘은 주제에 맞게 강연자 분들도 대전에서 유명하신 작가님, 교수님과 대표님들이 강연해주실 예정이다. 나는 나다 - 이강산 작가님 이강산 작가님은 작가 및 사진작가로 대전에서 주로 활동하셨으며, 독특하게 아날로그 흑백 필름을 사용한 사진 촬영 기법을 사용하시는 작가님이다. 작가님은 인생의 멘토로 최민식 사진가님 A.로댕, 로버트 카파, 세바스티앙 살가도, 아니 에르노를 뽑으셨고, 그들에게서 많은 영감과 배울점을 느끼셨다고 하셨다. 그리고 작가님은 여인숙에서 직접 생활하면서 그들과 서로 소통과 공감하며 그들의 삶의 모습을 담은 사진집을 출간하셨다. 주로 여인숙에서 머무..

Python/데이터분석(ABC 부트캠프) / 2024. 8. 4. / 않새준

[28일차] ABC 부트캠프 / 기술나눔활동 데이터 라벨링

오늘은 기술나눔활동을 하는 날이다. 고경력과학기술인 멘토링과 데이터 라벨링 두개의 활동 중 나는 데이터 라벨링을 선택하여 오늘 하루동안 활동하였다. 데이터 라벨링 과정에서는 유클리드 소프트의 현직자 분들이 직접 오셔서 다양한 이야기를 해주셨고, 현직자의 입장에서 데이터를 다루는 방법에 대해 알려주시는 유익한 시간이였다. 그럼 오늘 하루 학습한 내용을 정리해보겠다. 데이터 처리과정 데이터를 처리하는 과정은 총 5가지로 이루어져 있다. 원시 데이터: 수집된 원래 형태의 데이터.원천 데이터: 중복 데이터와 결측 데이터가 처리된 데이터.라벨링 데이터: 라벨링이 완료되어 학습에 사용할 준비가 된 데이터.기계 학습: 라벨링된 데이터를 사용하여 인공지능 모델을 학습.인공지능 개발: 학습된 모델을 사용하여 A..

Python/데이터분석(ABC 부트캠프) / 2024. 8. 4. / 않새준

[27일차] ABC 부트캠프 / NVIDIA 트랜스포머 기반 자연어 처리 애플리케이션 구축 과정

NVIDIA 트랜스포머 기반 자연어 처리 애플리케이션 구축 과정을 수료하기 위해서는 아래와 같은 문제를 해결해야 한다. 연방주의자 논집의 각 논문 저자가 Alexander Hamilton인지, James Madison인지 구별하는 문제이다. 제공된 train.tsv와 dev.tsv 데이터세트를 사용하여 BERT 기반 모델을 학습시켜야 한다. 데이터 준비 # Import useful utilities for gradingimport osimport jsonimport globfrom omegaconf import OmegaConfdef get_latest_model(): nemo_model_paths = glob.glob('nemo_experiments/TextClassification/*..

Python/데이터분석(ABC 부트캠프) / 2024. 8. 4. / 않새준

[26일차] ABC 부트캠프 / NVIDIA 딥러닝 기초 과정

엔비디아 딥러닝 기초 과정을 수료하기 위한 문제를 해결해보고자 한다. 문제는 신선한 과일과 썩은 과일을 인식할 수 있는 모델을 훈련을 통해 92% 이상의 정확도를 달성하는 것이다. 이를 위해 전이 학습과 데이터 증강 파인 튜닝을 사용해야 하며, 데이터 세트는 Kaggle에서 다운로드할 수 있다. 모델의 출력 레이어는 6개의 뉴런으로 구성해야 하며, categorical_crossentropy 손실 함수를 사용하여 모델을 컴파일해야 한다. 모델 불러오기 from tensorflow import kerasbase_model = keras.applications.VGG16( weights='imagenet', input_shape=(224, 224, 3), include_top=Fals..

Python/데이터분석(ABC 부트캠프) / 2024. 8. 4. / 않새준

[25일차] ABC 부트캠프 / RNN

RNN이란? RNN은 Recurrent Neural Network로 순환신경망이라고 부른다. RNN은 순차적인 데이터를 처리하는데 특화된 신경망 모델이며, 뉴런들이 순환 연결 되어있고, 시간적 순서에 따라 데이터를 처리할 수 있다. 삼성전자 주식 데이터 분석하기 삼성전자 주식 데이터 불러오기 FinanceDataReader 라이브러리를 사용하면 삼성전자 주식 정보를 가져올 수 있다.import FinanceDataReader as fdrimport numpy as npfrom matplotlib import pyplot as pltprint(fdr.DataReader(symbol='005930', start='01/01/2016', end='12/23/2020'))samsung = fdr.Dat..

Python/데이터분석(ABC 부트캠프) / 2024. 7. 28. / 않새준

[24일차] ABC 부트캠프 / OpenCV 실습

Lenna 이미지를 활용한 이미지 분석 로네 포르센이라는 스웨덴 출신 모델의 이미지를 활용하여 이미지 분석을 해보려고 한다. 이미지 불러오기 import cv2img = cv2.imread(filename="Lenna_512x512.png", flags=cv2.IMREAD_GRAYSCALE) 본격적으로 이미지를 분석하기 전 이미지를 불러왔다. 이미지를 그레이 스케일(흑백)으로 불러오는 이유는 데이터 크기를 줄일 수 있고, 연산의 효율을 높여 더 정확한 분석이 가능해지기 때문이다. 이미지의 최소값, 최대값 찾기 (minVal, maxVal, minLoc, maxLoc) = cv2.minMaxLoc(src=img)print(minVal, maxVal, minLoc, maxLoc) 데이터를 정규화할 ..

Python/데이터분석(ABC 부트캠프) / 2024. 7. 28. / 않새준

[23일차] ABC 부트캠프 / CNN 모델

패션 이미지 분류 예제 tensorflow와 keras를 사용하여 fashion MNIST 데이터셋을 훈련시키고, 데이터를 예측해보자. 데이터 불러오기 및 준비 훈련을 하기 위해 데이터셋을 불러오자.import tensorflow as tfimport matplotlib.pyplot as pltimport numpy as npimport time# 데이터셋 불러오기fashion_mnist = tf.keras.datasets.fashion_mnist# 데이터 분할하기(X_train, y_train), (X_test, y_test) = fashion_mnist.load_data() 데이터셋을 불러온 후 데이터를 훈련 데이터와 테스트 데이터로 분할해주었다. 위 데이터를 분류하기 위해 10가지의 카테코리를 ..

Python/데이터분석(ABC 부트캠프) / 2024. 7. 28. / 않새준

[22일차] ABC 부트캠프 / MNIST 숫자 이미지 분류 및 Keras 기본 개념

손글씨 숫자 이미지 분류(MNIST) MNIST 데이터셋에서 숫자 이미지를 불러와 해당 이미지의 숫자를 분류해보자. 우선 데이터셋을 로드하고 데이터들을 분류한 뒤 시각화 해보자. import matplotlib.pyplot as pltimport tensorflow as tf(train_images, train_labels), (test_images, test_labels) = tf.keras.datasets.mnist.load_data()print(train_images.shape) # (60000, 28, 28)print(train_labels.shape) # (60000,)print(test_images.shape) # (10000, 28, 28)print(test_labels.shape) ..

Python/데이터분석(ABC 부트캠프) / 2024. 7. 28. / 않새준

[21일차] ABC 부트캠프 / 머신러닝 퀴즈 해결 및 신경망

오늘은 지난주 했었던 머신러닝을 활용한 강아지 견종 데이터 분류에 대한 추가 학습과 신경망에 대해 학습하였다. 견종 데이터를 추가할 때 '증강'을 통해 데이터를 추가하는 과정이나 신경망이라는 낯선 개념이 많이 등장하였다. 한번에 이해하지 못했지만 테크노트를 작성하며 다시 한번 이해하려고 노력해보자. 견종 분류 예제 - 증강을 통한 데이터 추가 교수님의 깜짝 선물이 도착했다. 20일차에서 해결했던 견종분류모델의 데이터가 부족한 문제를 해결하기 위해 데이터를 추가하는 과제이다. 데이터를 추가할 때 반드시 기준을 선정하여 해당 기준에 맞는 데이터를 추가해야 한다. 그렇기에 우리는 평균값을 기준으로 데이터를 추가하기로 했다.# 수정사항dachshund_length_mean = np.mean(dachshun..

Python/데이터분석(ABC 부트캠프) / 2024. 7. 26. / 않새준

[20일차] ABC 부트캠프 / 제 2회 ESG Day

오늘은 두번째 ESG Day를 맞이하여 대전 정보문화산업진흥원에 방문하였다.https://map.naver.com/p/search/%EB%8C%80%EC%A0%84%EC%A0%95%EB%B3%B4%EB%AC%B8%ED%99%94%EC%82%B0%EC%97%85%EC%A7%84%ED%9D%A5%EC%9B%90/place/12855745?placePath=?entry=pll&from=nx&fromNxList=true&searchType=place 네이버 지도대전정보문화산업진흥원map.naver.com 오늘의 ESG Day의 주제는 바로 데이터로 분야이다. 1달동안 데이터를 다루면서 데이터에 관해서 어느정도 감이 잡혔을 시기에 이런 특강을 들을 수 있어서 영광이였다. 내가 수집하고 가공했던 데이터들이 현업에..

Python/데이터분석(ABC 부트캠프) / 2024. 7. 21. / 않새준

1 2 3 4

티스토리툴바