오구리의 DevLog

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. ▶10.3 생성 적대 신경 10.3.2 생성 적대 신경망의 프로그래밍 MNIST를 가지고 GAN을 구현하는 코드 import numpy as np from tensorflow.keras.datasets import mnist from tensorflow.keras.layers import Input,Activation,Dense,Flatten,Reshape,Conv2D,Conv2DTranspose,Dropout,BatchNormalization,UpSampling2D from tensorflow.keras.models impor..

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. ▶10.2 오토인코더 (Autoencoder) 오토인코더는 입력 패턴과 출력 패턴이 같은 신경망 (모양, 값 모두 같게) - 사람이 레이블을 달 필요가 없는 비지도 학습 - 고전적인 응용 : 영상 압축, 잡음 제거 등 - 딥러닝 응용 : 특징 추출 또는 생성 모델 (중간에 살짝 변형해 조금 다른 애를 출력한다.) 기본 아이디어 - 입력 데이터를 압축된 표현(representation) 또는 특징으로 인코딩(encoding) - 압축된 표현은 다시 원래 입력 형태로 디코딩(decoding) 오토인코더 학습 - 입력과 출력의 차이를..

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. 인간의 생성 능력 - ex. 아이는 오늘 겪은 일을 아빠에게 이야기하고, 처음 가본 곳의 풍경을 그림으로 그린다. - 현실 세계를 비슷하게 모방하지만 같지는 않다.(의도적 왜곡, 도구 한계로 추상화 등) 생성 모델 - 레이블 별 데이터 분포를 이해하고, 새로운 데이터를 만들 수 있는 모델 - DALL-E, ChatGPT 판별 모델 - 데이터를 레이블에 맞춰 나누는 (분류) 모델 - 영상 분류 모델, 번호판 인식기, 구글 검색 ▶생성 모델과 판별 모델 판별 모델 - 가족의 얼굴을 알아보고 표정을 보고 상대의 감정을 알아보는 등의 ..

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. ▶9.3 동적 프로그래밍 (Dynamic Programming 9.3.2 가치 반복 알고리즘 동적 프로그래밍은 부트스트랩(bootstrap) 방식 - 모든 상태가 부정확한 값으로 출발하여 이웃 상태와 정보를 주고받으며 점점 수렴해 가는 방식 - ex. FrozenLake에서는 목적지에 인접한 상태부터 정확해져서 점점 멀리 확산 - 부트스트랩 : agent가 자체적으로 가치 함수나 q-value 함수를 업데이트하는 것 - 당장의 보상과 이웃 상태에서의 가치 함숫값이나 q-value 함숫값을 이용 - 이웃 상태(neighbor st..

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. ▶9.2 9.2.2 최적 정책 학습 알고리즘이 해야 할 일 - '누적(최종) 보상'을 최대화하는 '최적 정책'(optimal policy)을 알아내야 한다. - 최적 정책이란? - ex. 다중 손잡이 밴딧에서 승률이 가장 높은 4번 손잡이를 당기는 정책 - ex. Fronzenlake에서 상태 4에서 행동 1을 취해 안전한 길을 찾는다. 확률 분포로 표현되는 정책 9.2.3 가치 함수로 찾는 최적 정책 최적 정책(optimal policy)을 찾는 학습 알고리즘의 필요성 - 이전 예제에서는 최적 정책을 쉽게 찾았는데 문제가 단순..

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. 컴퓨터로 이런 방식의 학습을 할 수 있을까? - 지금까지 공부한 지도 학습(다층 퍼셉트론, 컨볼루션 신경망, 순환 신경망)은 부적절하다. - 입력/환경 정보를 한 번에 또는 순차적으로 넣고 결과를 확인하는 방법이다. - 중간에 입력/환경 정보가 바뀌지는 않는다. (은닉층은 바뀔 수 있다.) - 대안이 필요하다. 강화 학습(Reinforcement Learning) - Reinforcement : 보상과 처벌을 통해 행동을 형성하는 과정 (심리학/행동) - 보상 또는 페널티와 같은 피드백으로 에이전트의 학습 과정을 돕는 방법이다...

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. Time-Series Data and Recurrent Neural Networks ▶8.5 자연어 처리 Natural Language Processing(NLP) - 인간이 구사하는 언어를 자동으로 처리하는 인공지능 분야 (언어 번역, 댓글 분석 → 흥행 추정, 고객 응대 챗본 등) 8.5.1 텍스트 데이터에 대한 이해 텍스트 데이터의 특성 - 시계열 데이터로서 시간 정보가 있고 샘플마다 길이가 다르다는 기본 성질 - 그 외의 독특한 특성 - 심한 잡음 - 형태소 분석 필요 - 구문론과 의미론 - 다양한 언어 특성 - 신경망에..

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. Time-Series Data and Recurrent Neural Networks ▶8.4 편곡하는 인공지능 인공지능의 창작 능력 - 딥드림으로 생성한 그림 - 마젠타 프로젝트의 음악 창작 활동 - 인공지능 소설 등 원시적인 수준에서 새로운 곡을 생성 - 앞 소설을 보고 다음 음표를 LSTM으로 예측하는 방식의 단순한 편곡을 한다. - 높은 수준은 생성 모델(generative model)을 사용해야 한다. 8.4.1 ABC 악보 표기 가장 간단한 음악 표기법인 ABC ABC 표기를 연주하는 코드이다. import music2..

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. Time-Series Data and Recurrent Neural Networks ▶8.3 LSTM으로 시계열 예측하기 시계열 데이터를 보고 미래를 예측하는 프로그래밍 - 단일 채널 - 종가 등 한 가지만 고려 - 다중 채널 - 종가, 시가, 고가, 저가를 모두 고려 아래 비트코인 가격 예측 코드는 단순히 교육용으로 작성된 것입니다. 혹시나 실제로 이를 이용하려는 목적으로 사용한다면, 큰일 날 수 있습니다. 8.3.1 단일 채널 비트코인 가격 예측 7일 치 가격을 보고 내일 가격을 예측하는 LSTM 프로그래밍 import nu..

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. Time-Series Data and Recurrent Neural Networks ▶8.1 시계열 데이터의 의해 시계열 데이터 - 시간 축을 따라 신호가 변하는 동적 데이터이다. - 시간 정보가 들어 있는 데이터이다. - 들어오는 정보의 순서가 중요하다. - 샘플의 길이가 다를 수 있다. → 달라도 상관이 없다. 시계열 데이터 예제 - 문장 "세상에는 시계열 데이터가 참 많다" - 시간에 따라 변화가 없지만, 퉁쳐서 시계열 데이터라고 한다. - Google trend graph(우상단 그래프) - 심전도, 주식 시세, 음성 데..

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. ▶7.2 지능 에이전트 만들기 7.2.2 다국어 단어 공부 1 - tkinter를 이용한 대화형 인터페이스 tkinter 라이브러리를 활용해 사용자 인터페이스 부착 gtts 라이브러리를 활용해 단어 발음을 들려준다. # 다국어 단어 공부 : tkinter를 이용한 대화형 인터페이스 import numpy as np import tensorflow as tf import tkinter as tk from tkinter import filedialog from PIL import Image, ImageTk import winsoun..

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. 사람의 지능 행위와 지능 에이전트 - 사람은 주위를 센싱 → 인식 → 적절한 행위를 통해 환경과 상효작용 - 인공지능 제품도 비슷한 과정을 수행해야 쓸모가 있다. ▶7.1 지능 에이전트 시나리오 일상생활에서 특정한 일을 대행해 주는 사람을 에이전트라 부른다. - ex) 여행 에이전트는 여행 일정을 짜고 교통편과 숙소를 예약해 주는 사람 컴퓨터에서 사람 일을 대신하는 소프트웨어를 에이전트라 부른다. 7.1.1 지능 에이전트란 지식 에이전트 - 로봇은 에이전트. 환경, 지식 베이스가 명확히 구분된다. - 로봇 몸과 소프트웨어가 에이..

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. ▶6.8 물체 검출 분류(classification), 검출(detection), 분할(segmentaion) 문제 물체 검출을 위한 딥러닝 모델 R-CNN Fast R-CNN Faster R-CNN YOLO (you Only look Once) 6.8.1 욜로를 이용한 물체 검출 입력 영상을 S*S 격자(grid)로 나눈 S^2개의 격자 방 각각에 대해 B개의 바운딩 박스를 생성한다. 바운딩 박스는 (x, y, w, h, o)의 5개의 값으로 표현한다. (o는 물체일 가능성) C=80개의 물체 부류 실제 구현에서는 S=7, B..

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. ▶1.5.2 규칙 기반 방법론 vs 기계학습 방법론 규칙 기반 방법론 - 사람이 사용하는 규칙을 수집해 프로그래밍 - ex) 필기 숫자 인식 프로그램 - 숫자 3은 '왼쪽에서 보면 위와 아래에 터진골이 있다. 등...'와 같은 규칙을 수집한다. - 한계 노출 - 비슷한 모양을 가진 데이터에 대해 규칙을 위반하는 샘플이 꾸준히 발생한다. 기계학습 방법론 - 인공지능 초반에 규칙 기반이 대세였으나 1990년부터 기계학습으로 주도권이 이동했다. - 충분한 데이터를 수집한 다음 기계학습 모들을 학습하는 방법(데이터-주도 패러다임) - ..

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. ▶6.4 컨볼루션 신경망 프로그래밍 6.4.3 패션 인식 6.4.4 자연 영상 인식 딥러닝 프로그래밍에서 주로 사용하는 자연 영상 데이터베이스 - ImageNet - MSCoCo - CIFAR : 작아서 MNIST 다음에 주로 사용한다. CIFAR-10 - airplace, automobile, bird, cat, deer, dog, frog, horse, ship, truck의 10종류 - 영상은 32*32 맵으로 표현한다. CIFAR을 인식하는 컨볼루션 신경망 - CIFAR-10은 텐서 구조가 이미 (32*32*3)이어서 r..

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. ▶6.3 컨볼루션 신경망의 학습 컨볼루션 신경망은 커널을 학습한다. 6.3.1 손실 함수와 옵티마이저 손실 함수 - 다층 퍼셉트론과 컨볼루션 신경망은 중간층이 다르지만 입력과 출력은 동일하므로 같은 손실함수를 사용한다. 옵티마이저 - 다층 퍼셉트론은 엣지 가중치, 컨볼루션 신경망은 커널의 화소 값을 최적화한다는 점만 다르다. - 학습 원리는 동일하므로 같은 옵티마이저를 사용한다. 6.3.2 통째 학습 (End-to-End) 고전적인 컴퓨터 비전은 수작업 특징을 사용한다. - 사람의 직관으로 설계하기 때문에 어느 정도 성능 달성 ..

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. ▶6.1 컨볼루션 신경망의 동기와 전개 ▶6.2 컨볼루션 신경망의 구조와 동작 6.2.1 컨볼루션 연산으로 특징 맵 추출 컨볼루션(convolution) 연산 - 특징 추출 또는 신호 변환에 사용한다. - 수용장(파란 부분)과 커널의 선형 결합이다. - z는 입력 신호, u는 커널, h는 커널의 크기 Extra. Convolution convolution - Flip the filter in both dimentions (bottom to top, right to left) - Then apply cross-correlation..

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. ▶5.7 딥러닝이 사용하는 손실 함수 시험 점수의 역할 - 점수가 낮은 학생에게 F학점 또는 낙방과 같은 벌점을 부여하면 자신을 성찰하고 더 열심 히 공부할 동기 부여 - 점수가 낮거나 높거나 비슷한 벌점을 받으면 공정성이 깨지고 공부 의욕을 꺾는다. 신경망 학습도 비슷하다. - 신경망 가중치가 학생, 손실 함수가 시험 점수에 해당한다. 5.7.1 평균제곱오차 샘플 하나의 오류 - 레이블 y와 신경망이 예측한 값 o의 차이 - e = || y - o || ^ 2 평균제곱오차(MSE, mean-squared error) - 통계학..

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. ▶5.5 깊은 다층 퍼셉트론 다층 퍼셉트론에 은닉층을 더 많이 추가하면 깊은 다층 퍼셉트론이다. - 깊은 다층 퍼셉트론은 가장 쉽게 생각할 수 있는 딥러닝 모델이다. - 그리고 은닉층 1개만 있어도 다층 퍼셉트론이다. 5.5.1 구조와 동작 깊은 다층 퍼셉트론(DMLP - deep MLP)의 구조 - L - 1개의 은닉층이 있는 L층 신경망이다. - 입력층에 d + 1개의 노드, 출력층에 c개의 노드가 있다. - i번째 은닉층에 ni개의 노드가 있다. (ni는 하이퍼 매개변수) - 인접한 층은 완전 연결, 즉 FC(fully-c..

▶5.1 딥러닝의 등장 1980년대의 깊은 신경망 - 구조적으로는 쉬운 개념이다. - 다층 퍼셉트론에 은닉층을 많이 두면 깊은 신경망 - 하지만 학습이 잘 안 된다. - 그레이디언트 소멸 문제 - 작은 데이터셋 문제 - 과다한 계산 시간 5.1.1 딥러닝의 기술 혁신 딥러닝은 새로 창안된 이론이나 원리는 빈약하다. - 신경망의 구조와 동작, 학습 알고리즘의 기본 원리는 거의 동일하다. 딥러닝의 기술 혁신 요인 - 값싼 GPU 등장 - 데이터셋 커짐 - 학습 알조리즘의 발전 - ReLU 활성 함수 - 구제 기법 - 다양한 손실 함수와 옵티마이저 개발 학술적인 측면의 혁신 사례 - 컨볼루션 신경망이 딥러닝의 가능성을 열었다. - 1990년대 LeCun은 필기 숫자에서 획기적인 성능 향상 - AlexNet은 ..