[29일차] ABC 부트캠프 / 제 3회 ESG Day

오늘은 3회이자 마지막 ESG 강연이 있는 날이다. 오늘의 강연 주제는 우리 지역, 로컬 이야기-지역 리서치 프로젝트 사례이다. 오늘은 주제에 맞게 강연자 분들도 대전에서 유명하신 작가님, 교수님과 대표님들이 강연해주실 예정이다. 나는 나다 - 이강산 작가님 이강산 작가님은 작가 및 사진작가로 대전에서 주로 활동하셨으며, 독특하게 아날로그 흑백 필름을 사용한 사진 촬영 기법을 사용하시는 작가님이다. 작가님은 인생의 멘토로 최민식 사진가님 A.로댕, 로버트 카파, 세바스티앙 살가도, 아니 에르노를 뽑으셨고, 그들에게서 많은 영감과 배울점을 느끼셨다고 하셨다. 그리고 작가님은 여인숙에서 직접 생활하면서 그들과 서로 소통과 공감하며 그들의 삶의 모습을 담은 사진집을 출간하셨다. 주로 여인숙에서 머무..

Python/데이터분석(ABC 부트캠프) / 2024. 8. 4. / 않새준

[28일차] ABC 부트캠프 / 기술나눔활동 데이터 라벨링

오늘은 기술나눔활동을 하는 날이다. 고경력과학기술인 멘토링과 데이터 라벨링 두개의 활동 중 나는 데이터 라벨링을 선택하여 오늘 하루동안 활동하였다. 데이터 라벨링 과정에서는 유클리드 소프트의 현직자 분들이 직접 오셔서 다양한 이야기를 해주셨고, 현직자의 입장에서 데이터를 다루는 방법에 대해 알려주시는 유익한 시간이였다. 그럼 오늘 하루 학습한 내용을 정리해보겠다. 데이터 처리과정 데이터를 처리하는 과정은 총 5가지로 이루어져 있다. 원시 데이터: 수집된 원래 형태의 데이터.원천 데이터: 중복 데이터와 결측 데이터가 처리된 데이터.라벨링 데이터: 라벨링이 완료되어 학습에 사용할 준비가 된 데이터.기계 학습: 라벨링된 데이터를 사용하여 인공지능 모델을 학습.인공지능 개발: 학습된 모델을 사용하여 A..

Python/데이터분석(ABC 부트캠프) / 2024. 8. 4. / 않새준

[27일차] ABC 부트캠프 / NVIDIA 트랜스포머 기반 자연어 처리 애플리케이션 구축 과정

NVIDIA 트랜스포머 기반 자연어 처리 애플리케이션 구축 과정을 수료하기 위해서는 아래와 같은 문제를 해결해야 한다. 연방주의자 논집의 각 논문 저자가 Alexander Hamilton인지, James Madison인지 구별하는 문제이다. 제공된 train.tsv와 dev.tsv 데이터세트를 사용하여 BERT 기반 모델을 학습시켜야 한다. 데이터 준비 # Import useful utilities for gradingimport osimport jsonimport globfrom omegaconf import OmegaConfdef get_latest_model(): nemo_model_paths = glob.glob('nemo_experiments/TextClassification/*..

Python/데이터분석(ABC 부트캠프) / 2024. 8. 4. / 않새준

[26일차] ABC 부트캠프 / NVIDIA 딥러닝 기초 과정

엔비디아 딥러닝 기초 과정을 수료하기 위한 문제를 해결해보고자 한다. 문제는 신선한 과일과 썩은 과일을 인식할 수 있는 모델을 훈련을 통해 92% 이상의 정확도를 달성하는 것이다. 이를 위해 전이 학습과 데이터 증강 파인 튜닝을 사용해야 하며, 데이터 세트는 Kaggle에서 다운로드할 수 있다. 모델의 출력 레이어는 6개의 뉴런으로 구성해야 하며, categorical_crossentropy 손실 함수를 사용하여 모델을 컴파일해야 한다. 모델 불러오기 from tensorflow import kerasbase_model = keras.applications.VGG16( weights='imagenet', input_shape=(224, 224, 3), include_top=Fals..

Python/데이터분석(ABC 부트캠프) / 2024. 8. 4. / 않새준

[25일차] ABC 부트캠프 / RNN

RNN이란? RNN은 Recurrent Neural Network로 순환신경망이라고 부른다. RNN은 순차적인 데이터를 처리하는데 특화된 신경망 모델이며, 뉴런들이 순환 연결 되어있고, 시간적 순서에 따라 데이터를 처리할 수 있다. 삼성전자 주식 데이터 분석하기 삼성전자 주식 데이터 불러오기 FinanceDataReader 라이브러리를 사용하면 삼성전자 주식 정보를 가져올 수 있다.import FinanceDataReader as fdrimport numpy as npfrom matplotlib import pyplot as pltprint(fdr.DataReader(symbol='005930', start='01/01/2016', end='12/23/2020'))samsung = fdr.Dat..

Python/데이터분석(ABC 부트캠프) / 2024. 7. 28. / 않새준

[24일차] ABC 부트캠프 / OpenCV 실습

Lenna 이미지를 활용한 이미지 분석 로네 포르센이라는 스웨덴 출신 모델의 이미지를 활용하여 이미지 분석을 해보려고 한다. 이미지 불러오기 import cv2img = cv2.imread(filename="Lenna_512x512.png", flags=cv2.IMREAD_GRAYSCALE) 본격적으로 이미지를 분석하기 전 이미지를 불러왔다. 이미지를 그레이 스케일(흑백)으로 불러오는 이유는 데이터 크기를 줄일 수 있고, 연산의 효율을 높여 더 정확한 분석이 가능해지기 때문이다. 이미지의 최소값, 최대값 찾기 (minVal, maxVal, minLoc, maxLoc) = cv2.minMaxLoc(src=img)print(minVal, maxVal, minLoc, maxLoc) 데이터를 정규화할 ..

Python/데이터분석(ABC 부트캠프) / 2024. 7. 28. / 않새준

[23일차] ABC 부트캠프 / CNN 모델

패션 이미지 분류 예제 tensorflow와 keras를 사용하여 fashion MNIST 데이터셋을 훈련시키고, 데이터를 예측해보자. 데이터 불러오기 및 준비 훈련을 하기 위해 데이터셋을 불러오자.import tensorflow as tfimport matplotlib.pyplot as pltimport numpy as npimport time# 데이터셋 불러오기fashion_mnist = tf.keras.datasets.fashion_mnist# 데이터 분할하기(X_train, y_train), (X_test, y_test) = fashion_mnist.load_data() 데이터셋을 불러온 후 데이터를 훈련 데이터와 테스트 데이터로 분할해주었다. 위 데이터를 분류하기 위해 10가지의 카테코리를 ..

Python/데이터분석(ABC 부트캠프) / 2024. 7. 28. / 않새준

[22일차] ABC 부트캠프 / MNIST 숫자 이미지 분류 및 Keras 기본 개념

손글씨 숫자 이미지 분류(MNIST) MNIST 데이터셋에서 숫자 이미지를 불러와 해당 이미지의 숫자를 분류해보자. 우선 데이터셋을 로드하고 데이터들을 분류한 뒤 시각화 해보자. import matplotlib.pyplot as pltimport tensorflow as tf(train_images, train_labels), (test_images, test_labels) = tf.keras.datasets.mnist.load_data()print(train_images.shape) # (60000, 28, 28)print(train_labels.shape) # (60000,)print(test_images.shape) # (10000, 28, 28)print(test_labels.shape) ..

Python/데이터분석(ABC 부트캠프) / 2024. 7. 28. / 않새준

[19일차] ABC 부트캠프 / sklearn의 datasets 모듈 예제

19일차 학습에 들어가기 전에 간단한 복습을 하였다. 머신러닝을 하기 위해서는 정답 데이터를 알고 있어야 한다.가중치의 오차를 최소화 하기 위해 미분값이 0이 될때까지 반복하여 손실을 낮춰야 한다.숫자로 된 선형 데이터가 학습하기에 적합하다.위 세가지 정보를 명심하고 오늘 학습으로 넘어가고자 한다. sklearn의 datasets 모듈의 Iris 데이터 활용 18일차에도 Iris 데이터셋을 활용한 예제를 다뤘었다. 오늘은 똑같은 데이터셋을 KNN 분류기가 아닌 선형 회귀 모델을 학습시켜 실습해보고자 한다. # 라이브러리 호출from sklearn.linear_model import LinearRegressionfrom sklearn.datasets import load_irisimport nump..

Python/데이터분석(ABC 부트캠프) / 2024. 7. 21. / 않새준

[18일차] ABC 부트캠프 / Numpy 기초 및 머신러닝

오늘은 코드를 직접 실행해보며 Numpy 기초를 알아보았다. 개발 IDE는 기존에 쓰던 VSCode가 아닌 PyCharm을 다운받아 사용하였다. https://www.jetbrains.com/ko-kr/pycharm/download/?section=mac PyCharm 다운로드: 데이터 과학 및 웹 개발을 위해 JetBrains가 만든 Python IDE www.jetbrains.com IDE를 다운받았으면 파이썬 버전 설정과 같은 환경설정을 맞춰주고, 사용하는 라이브러리들을 다운로드 받아야 한다. 변수 선언 파이썬에서 변수를 생성하는 방법은 1주차때도 배웠었다. 그러나 4주차인 지금 다시 언급하는 이유는 파이썬에서 변수를 선언할 때 자료형을 명시할 수 있는 방법이 있기 때문이다. # 기존 방식ex..

Python/데이터분석(ABC 부트캠프) / 2024. 7. 21. / 않새준

1 2 3 4

티스토리툴바