Neural Network for Beginners

1. 신경망은 데이터로부터 학습하는 능력으로 기계 학습을 혁신하고 있다

기계 학습은 데이터에서 응답을 찾고, 데이터에서 모델을 발견하며, 그 기반 위에 이야기를 제시한다.

데이터 중심 접근법. 신경망은 전통적인 규칙 기반 프로그래밍에서 데이터로부터 직접 패턴을 학습하는 방식으로 패러다임 전환을 나타낸다. 이는 이미지 인식과 자연어 처리와 같이 명시적인 프로그래밍으로 해결하기 어려운 복잡한 문제를 해결할 수 있게 한다.

엔드 투 엔드 학습. 신경망은 원시 입력 데이터로부터 계층적 표현을 직접 학습할 수 있어 수동 특징 공학의 필요성을 없앤다. 이를 통해 관련 특징과 패턴을 자동으로 발견하여 종종 수작업으로 만든 접근법보다 뛰어난 성능을 발휘한다.

일반화. 대규모 데이터셋으로부터 학습함으로써 신경망은 새로운, 보지 못한 예제에 일반화할 수 있다. 이러한 기본 패턴을 추출하고 새로운 상황에 적용하는 능력은 의료 진단에서 자율 주행 차량에 이르기까지 다양한 분야에서 응용 가능하게 한다.

2. 퍼셉트론은 신경망의 기초를 이루며 복잡한 기능을 표현할 수 있다

퍼셉트론은 여기서 SGD의 역할을 한다. 매개변수는 옵티마이저 변수에 의해 업데이트된다.

기본 구성 요소. 퍼셉트론은 생물학적 뉴런에서 영감을 받은 가장 단순한 형태의 인공 뉴런이다. 여러 입력을 받아 가중치를 적용하고 활성화 함수에 따라 출력을 생성한다.

논리 연산. 퍼셉트론은 AND, OR, NOT 게이트와 같은 기본 논리 연산을 표현할 수 있다. 여러 퍼셉트론을 결합하여 더 복잡한 기능을 근사할 수 있다:

• AND 게이트: 두 입력이 모두 높아야 출력이 높다
• OR 게이트: 적어도 하나의 입력이 높아야 출력이 높다
• NOT 게이트: 입력을 반전시킨다

제한 사항. 단일 계층 퍼셉트론은 선형적으로 분리 가능한 문제에만 제한된다. 이 제약을 극복하고 더 복잡한 비선형 기능을 표현하기 위해 다층 네트워크가 개발되었다.

3. 다층 신경망은 강력한 비선형 표현을 가능하게 한다

다층 퍼셉트론은 때때로 다층 인식이라고도 한다.

선형 제한 극복. 여러 계층의 뉴런을 쌓음으로써 다층 네트워크는 복잡한 비선형 기능을 근사할 수 있다. 이는 단일 계층 퍼셉트론이 해결할 수 없는 XOR 문제와 같은 문제를 해결할 수 있게 한다.

보편적 함수 근사. 이론적으로, 하나의 은닉 계층과 충분한 수의 뉴런을 가진 신경망은 임의의 연속 함수를 임의의 정밀도로 근사할 수 있다. 그러나 더 깊은 네트워크는 종종 더 효율적으로 학습한다:

• 입력 계층: 원시 데이터를 수신
• 은닉 계층: 특징을 추출하고 변환
• 출력 계층: 최종 예측을 생성

활성화 함수. ReLU, 시그모이드, tanh와 같은 비선형 활성화 함수는 네트워크에 비선형성을 도입하여 복잡한 패턴을 학습할 수 있게 한다:

• ReLU (정류 선형 유닛): f(x) = max(0, x)
• 시그모이드: f(x) = 1 / (1 + e^-x)
• tanh: f(x) = (e^x - e^-x) / (e^x + e^-x)

4. 역전파는 심층 신경망을 효율적으로 훈련시킨다

역전파는 2단계에서 발생한다. 이전 장에서는 수치 미분을 사용하여 기울기를 얻었다.

기울기 기반 학습. 역전파는 신경망에서 기울기를 계산하는 효율적인 알고리즘이다. 이는 미분 연쇄 법칙을 사용하여 오류를 네트워크를 통해 역방향으로 전파함으로써 작동한다.

계산 그래프. 신경망을 계산 그래프로 표현하면 순방향 및 역방향 패스 동안 정보의 흐름을 시각화하고 이해하는 데 도움이 된다:

• 순방향 패스: 출력과 손실을 계산
• 역방향 패스: 기울기를 계산하고 가중치를 업데이트

자동 미분. 현대의 심층 학습 프레임워크는 자동 미분을 구현하여 개발자가 기울기를 수동으로 도출하는 대신 네트워크 아키텍처 설계에 집중할 수 있게 한다. 이는 연구 및 개발을 크게 가속화했다.

5. 합성곱 신경망(CNN)은 이미지 인식 작업에서 뛰어난 성능을 발휘한다

CNN은 따라서 그림과 같은 형태의 데이터를 효과적으로 이해할 수 있다.

특화된 아키텍처. CNN은 이미지와 같은 격자형 데이터를 처리하도록 설계되었다. 입력의 공간 구조를 활용하는 특화된 계층을 사용한다:

• 합성곱 계층: 학습된 필터를 적용하여 특징을 감지
• 풀링 계층: 공간 차원을 줄이고 불변성을 도입
• 완전 연결 계층: 고수준 특징을 결합하여 분류

매개변수 공유. 합성곱 계층은 전체 입력에 동일한 가중치 세트를 사용하여 완전 연결 네트워크에 비해 매개변수 수를 크게 줄인다. 이는 CNN을 더 효율적이고 과적합에 덜 취약하게 만든다.

계층적 특징 학습. CNN은 입력의 계층적 표현을 학습한다:

• 하위 계층: 가장자리와 모서리와 같은 단순한 특징을 감지
• 중간 계층: 단순한 특징을 결합하여 더 복잡한 패턴을 형성
• 상위 계층: 고수준 개념과 객체를 인식

6. SGD와 Adam과 같은 최적화 기술은 신경망 훈련을 가속화한다

신경망 훈련의 목표는 손실 함수의 값을 최소화하는 매개변수를 찾는 것이다.

기울기 하강 변형. 기본 확률적 기울기 하강(SGD)을 개선하기 위해 다양한 최적화 알고리즘이 개발되었다:

• 모멘텀: 수렴을 가속화하고 진동을 줄임
• AdaGrad: 각 매개변수에 대한 학습률을 조정
• Adam: 모멘텀과 적응형 학습률의 아이디어를 결합

학습률 조정. 훈련 중 학습률을 조정하면 수렴과 최종 성능이 향상될 수 있다:

• 단계적 감소: 고정된 간격으로 학습률을 줄임
• 지수적 감소: 학습률을 지속적으로 감소
• 순환 학습률: 낮은 학습률과 높은 학습률 사이를 오가며 조정

배치 정규화. 미니 배치 내에서 활성화를 정규화하면 훈련이 안정화되어 더 높은 학습률과 더 빠른 수렴이 가능해진다. 또한 일부 경우에는 드롭아웃의 필요성을 줄이는 정규화 역할을 한다.

7. 더 깊은 네트워크는 더 높은 정확도를 달성하지만 훈련에 어려움을 겪는다

네트워크가 깊을수록 인식 성능이 향상된다.

표현력 증가. 더 깊은 네트워크는 얕은 네트워크에 비해 더 적은 매개변수로 더 복잡한 기능을 표현할 수 있다. 이를 통해 입력 데이터의 계층적 표현을 학습할 수 있다.

훈련 문제. 매우 깊은 네트워크는 훈련 중 다음과 같은 문제에 직면한다:

• 기울기 소실/폭발: 기울기가 너무 작아지거나 커짐
• 성능 저하 문제: 깊이가 과도할 경우 성능이 포화되고 저하됨

아키텍처 혁신. 이러한 문제를 해결하기 위해 연구자들은 새로운 아키텍처를 개발했다:

• ResNet: 기울기가 직접 흐를 수 있도록 스킵 연결 도입
• DenseNet: 각 계층을 피드포워드 방식으로 모든 다른 계층에 연결
• Transformer: 시퀀스 작업을 위해 반복을 주의 메커니즘으로 대체

8. 전이 학습과 데이터 증강은 제한된 데이터셋에서 성능을 향상시킨다

데이터 증강을 통해 이미지의 양을 늘릴 수 있다면, 딥러닝을 적용하여 인식 정확도를 향상시킬 수 있다.

사전 학습된 모델 활용. 전이 학습은 대규모 데이터셋에서 훈련된 네트워크를 제한된 데이터로 특정 작업에 맞게 미세 조정할 수 있게 한다. 이는 훈련 시간을 크게 줄이고 작은 데이터셋에서 성능을 향상시킨다.

데이터 증강 기법. 변환을 통해 훈련 데이터셋의 크기를 인위적으로 증가:

• 기하학적 변환: 회전, 스케일링, 뒤집기, 자르기
• 색상 변환: 밝기, 대비, 채도 조정
• 노이즈 주입: 입력에 무작위 노이즈 추가
• 혼합: 여러 훈련 예제를 결합

Few-shot 학습. 매우 적은 예제로부터 학습할 수 있는 모델 개발은 라벨이 있는 데이터가 부족하거나 얻기 어려운 도메인에서 응용 가능한 활발한 연구 분야이다.

9. 딥러닝은 컴퓨터 비전, 자연어 처리, 강화 학습과 같은 분야를 변혁하고 있다

딥러닝은 엔드 투 엔드 학습이라고도 한다.

컴퓨터 비전의 돌파구. 딥러닝은 다음과 같은 작업을 혁신했다:

• 이미지 분류: 이미지에서 객체 식별
• 객체 탐지: 여러 객체의 위치와 분류
• 의미론적 분할: 이미지 영역의 픽셀 수준 분류
• 이미지 생성: 텍스트 설명에서 현실적인 이미지 생성

자연어 처리(NLP) 발전. Transformer 기반 모델은 다음에서 최첨단 성능을 달성했다:

• 기계 번역: 언어 간 번역
• 텍스트 요약: 긴 텍스트의 간결한 요약 생성
• 질문 응답: 문맥에서 관련 정보 추출
• 언어 생성: 인간과 같은 텍스트 생성

강화 학습. 딥러닝과 강화 학습을 결합하여 다음에서 인상적인 결과를 얻었다:

• 게임 플레이: Go와 StarCraft와 같은 복잡한 게임 마스터
• 로봇 공학: 로봇 조작을 위한 제어 정책 학습
• 자율 주행: 차량을 위한 의사 결정 시스템 개발

Last updated: July 26, 2024