12주차에는 Encoder에 대해 배웠다. 강의에서 배운 사고의 흐름을 복습 및 정리하고자 한다. Encoder는 무엇일까? Transformer는 아래와 같은 과정을 거치는 Feed Forward Network이다. 이때 Encoder 부분만 확대하면 아래와 같다. 즉, Input을 받아 encoding 하는 역할을 수행하는 것이 Encoder인 것이다. Encoder 안에는 여러 layer가 있고, 이 layer들을 모두 통틀어 encoder라고 한다. 구체적인 예시를 들어보도록 하겠다. BERT라는 모델의 encoder 구조는 아래와 같다. Keras Core Encoder 이제는 Code로 살펴보도록 하겠다. (1) 준비 !pip install -q keras-core i..
