오구리의 DevLog

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. ▶5.5 깊은 다층 퍼셉트론 다층 퍼셉트론에 은닉층을 더 많이 추가하면 깊은 다층 퍼셉트론이다. - 깊은 다층 퍼셉트론은 가장 쉽게 생각할 수 있는 딥러닝 모델이다. - 그리고 은닉층 1개만 있어도 다층 퍼셉트론이다. 5.5.1 구조와 동작 깊은 다층 퍼셉트론(DMLP - deep MLP)의 구조 - L - 1개의 은닉층이 있는 L층 신경망이다. - 입력층에 d + 1개의 노드, 출력층에 c개의 노드가 있다. - i번째 은닉층에 ni개의 노드가 있다. (ni는 하이퍼 매개변수) - 인접한 층은 완전 연결, 즉 FC(fully-c..

▶5.1 딥러닝의 등장 1980년대의 깊은 신경망 - 구조적으로는 쉬운 개념이다. - 다층 퍼셉트론에 은닉층을 많이 두면 깊은 신경망 - 하지만 학습이 잘 안 된다. - 그레이디언트 소멸 문제 - 작은 데이터셋 문제 - 과다한 계산 시간 5.1.1 딥러닝의 기술 혁신 딥러닝은 새로 창안된 이론이나 원리는 빈약하다. - 신경망의 구조와 동작, 학습 알고리즘의 기본 원리는 거의 동일하다. 딥러닝의 기술 혁신 요인 - 값싼 GPU 등장 - 데이터셋 커짐 - 학습 알조리즘의 발전 - ReLU 활성 함수 - 구제 기법 - 다양한 손실 함수와 옵티마이저 개발 학술적인 측면의 혁신 사례 - 컨볼루션 신경망이 딥러닝의 가능성을 열었다. - 1990년대 LeCun은 필기 숫자에서 획기적인 성능 향상 - AlexNet은 ..

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. 인공신경망 : ANN (Artificial Neural Network) 사람의 뇌가 동작하는 방식을 그대로 흉내 내어 만든 수학적 모델 뉴런과 시냅스 : neuron and synapse - 사람의 뇌는 뉴런(신경세포)들이 서로 연결되어 다른 뉴런들과 상호작용 - 입력으로 받은 전기 신호를 적당히 처리하여 다른 뉴런에 전달한다. - 신호를 전달하려면 입력으로 받은 전기 신호의 합이 일정 수준을 넘어야 한다. 퍼셉트론 : Perceptron 뉴런의 동작 방식을 모방하여 만든 수학적 모델 입력값 : x1, x2, ⋯ , xn 가중치..