경제도사김복꾼

14주차에는 Decoder에 대해 배웠다. 강의에서 배운 사고의 흐름을 복습 및 정리하고자 한다. ​ Decoder는 무엇일까? Transformer는 아래와 같은 과정을 거치는 Feed Forward Network이다. ​ ​ 이때 조금 확대해서 보면 아래와 같다. 오른쪽이 Decoder이다. 즉, 이전 단계로부터 data를 받아 output을 출력하는 역할을 수행하는 것이 Decoder 인 것이다. Decoder 안에는 여러 layer가 있고, 이 layer들을 모두 통틀어 Decoder라고 한다. ​ Code로 보는 Decoder 이제는 Code로 살펴보도록 하겠다. ​ !wget "https://raw.githubusercontent.com/Joocheol/Transformer/b96eaede35..

12주차에는 Encoder에 대해 배웠다. 강의에서 배운 사고의 흐름을 복습 및 정리하고자 한다. ​ Encoder는 무엇일까? Transformer는 아래와 같은 과정을 거치는 Feed Forward Network이다. ​ ​ 이때 Encoder 부분만 확대하면 아래와 같다. 즉, Input을 받아 encoding 하는 역할을 수행하는 것이 Encoder인 것이다. Encoder 안에는 여러 layer가 있고, 이 layer들을 모두 통틀어 encoder라고 한다. ​ ​ 구체적인 예시를 들어보도록 하겠다. BERT라는 모델의 encoder 구조는 아래와 같다. ​ Keras Core Encoder 이제는 Code로 살펴보도록 하겠다. ​ (1) 준비 !pip install -q keras-core i..

10주차에는 transformer의 Keras Layers에 대해 배웠다. 강의에서 배운 사고의 흐름을 복습 및 정리하고자 한다. ​ 1. Import 가장 먼저 시작해야 되는 것은, 필요한 라이브러리를 import하는 것이다. !pip install -q keras-core import numpy as np numpy import os os.environ["KERAS_BACKEND"] = "torch" import keras_core as keras import keras_core ​ keras에 대해 배우는만큼 keras나 numpy를 import하는 것은 딱히 의외인 것은 아니다. os.environ["KERAS_BACKEND"] = "torch"를 입력하여 KERAS_BACKEND을 torch로 ..