경제도사김복꾼

본 글은 경제학코딩1의 Final Project에 대한 글이다. Part1에 이어 Part2의 내용에 대해 알아보겠다. Part1은 아래의 링크에서 확인할 수 있다. https://helloeconomistkim.tistory.com/27 4. 이후, preprocess function을 정의하였다. function의 정의 과정에서 주목할 점은 두 가지이다. 첫째, sent0부터 sent136까지가 string형태의 데이터이기 때문에, for 방식을 통해 sent0~136을 하나로 join 시켰다. 둘째, 값이 Nan이나 로 뜨는 경우가 있어, 오류를 방지하기 위하여 해당 값들은 join에서 제외시켰다. function의 정의가 끝난 후, 해당 function을 soccer 전체에 적용시키기 위해, ma..

Ⅰ 서론 Language Modeling에는 두 가지 종류가 있다. 하나는 Causal Language Modeling이고, 다른 하나는 Masked Language Modeling이다. Causal Language Model은 이전 토큰들을 입력으로 받아 다음 토큰을 예측하여, 문장 생성 능력이 뛰어나다는 장점이 있다. 대표적인 예로 GPT-2가 있다. 이에 Causal Language Modeling 모델 중 하나인 DistilGPT-2를 fine-tuning하여, 축구 분야에 특화된 text generation 모델을 구현해 보았다. 본 보고서는 해당 모델을 구현하는데 사용된 pretrained model 및 코드를 소개하고, fine-tuning에 사용된 데이터셋에 따라 모델의 성능이 어떻게 달라..