경제도사김복꾼

14주차에는 Decoder에 대해 배웠다. 강의에서 배운 사고의 흐름을 복습 및 정리하고자 한다. ​ Decoder는 무엇일까? Transformer는 아래와 같은 과정을 거치는 Feed Forward Network이다. ​ ​ 이때 조금 확대해서 보면 아래와 같다. 오른쪽이 Decoder이다. 즉, 이전 단계로부터 data를 받아 output을 출력하는 역할을 수행하는 것이 Decoder 인 것이다. Decoder 안에는 여러 layer가 있고, 이 layer들을 모두 통틀어 Decoder라고 한다. ​ Code로 보는 Decoder 이제는 Code로 살펴보도록 하겠다. ​ !wget "https://raw.githubusercontent.com/Joocheol/Transformer/b96eaede35..

Attention is all you need 13주차에는 "Attention is all you need" 논문을 바탕으로 scaled dot product와 attention mask에 대해서 배웠다. 강의에서 배운 사고의 흐름을 복습 및 정리하고자 한다. ​ 1. Scaled Dot Product Scaled Dot-Product는 transformer를 이해하는 데 필수적이다. ​ 그 원리는 아래와 같다. Scaled Dot-Product attention 방식에서는 Query, Key, Value가 input으로 들어온다. 이때 Q와 K의 dot product를 통해 attention score를 계산하면, 이를 scaling 하여 softmax를 적용한 후, 결과에 V를 적용하게 된다. ​ 그..

12주차에는 Encoder에 대해 배웠다. 강의에서 배운 사고의 흐름을 복습 및 정리하고자 한다. ​ Encoder는 무엇일까? Transformer는 아래와 같은 과정을 거치는 Feed Forward Network이다. ​ ​ 이때 Encoder 부분만 확대하면 아래와 같다. 즉, Input을 받아 encoding 하는 역할을 수행하는 것이 Encoder인 것이다. Encoder 안에는 여러 layer가 있고, 이 layer들을 모두 통틀어 encoder라고 한다. ​ ​ 구체적인 예시를 들어보도록 하겠다. BERT라는 모델의 encoder 구조는 아래와 같다. ​ Keras Core Encoder 이제는 Code로 살펴보도록 하겠다. ​ (1) 준비 !pip install -q keras-core i..

11주차에는 Tokenizer와 Data Section에 대해 배웠다. 강의에서 배운 사고의 흐름을 복습 및 정리하고자 한다. ​ 1. Tokenizer 우선 다룰 것은 Tokenizer이다. Tokenizer는 토큰화를 진행해주는 method이다. 아래의 그림을 보면 이해가 쉬울 것이다. ​ Code를 중심으로 살펴보도록 하겠다. ​ (1) 준비 !wget https://s3.amazonaws.com/research.metamind.io/wikitext/wikitext-103-raw-v1.zip !unzip wikitext-103-raw-v1.zip !pip install transformers 필요한 라이브러리 및 데이터셋을 준비하는 과정이다. 여러 번 반복해서 실행시켜도 unzip wikitext에..

10주차에는 transformer의 Keras Layers에 대해 배웠다. 강의에서 배운 사고의 흐름을 복습 및 정리하고자 한다. ​ 1. Import 가장 먼저 시작해야 되는 것은, 필요한 라이브러리를 import하는 것이다. !pip install -q keras-core import numpy as np numpy import os os.environ["KERAS_BACKEND"] = "torch" import keras_core as keras import keras_core ​ keras에 대해 배우는만큼 keras나 numpy를 import하는 것은 딱히 의외인 것은 아니다. os.environ["KERAS_BACKEND"] = "torch"를 입력하여 KERAS_BACKEND을 torch로 ..

9주차에는 PyTorch 라이브러리를 사용한 Neural Network를 구축 및 훈련하는 방법에 대해 배웠다. 강의에서 배운 사고의 흐름을 복습 및 정리하고자 한다. 1. Import 가장 먼저 시작해야 되는 것은, 필요한 라이브러리를 import하는 것이다. import numpy as np import matplotlib.pyplot as plt import torch import torch.nn as nn import torch.nn.functional as F 2. Dataset 다음으로 할 것은 데이터셋을 준비하는 것이다. import tensorflow as tf MNIST 데이터셋을 불러오기 위해, TensorFlow 라이브러리를 import하였다. (x_train, y_train), (x..