ChatGPT 사용 체험기

 

ChatGPT라고 OpenAI에서 최근 출시한 서비스가 있습니다. 아마도 GPT-3 기반인것 같습니다. 간단히 체험 해 보실 분들은 아래 사이트를 방문해 보시면 될 듯 합니다. 연구 기간에는 무료로 사용이 가능한 것으로 보이며, 계정 생성이 필요합니다.

 

https://chat.openai.com/chat

ChatGPT

 

채팅 입력으로 ChatGPT의 원리를 물어봤더니, 잘 설명하다가 아래처럼 끊는군요. 글자 수 제한 같은게 있나 봅니다.

 

ChatGPT 실행 화면.

 

---

위 글은 작년 (22년) 12월 2일 에 작성했던 글입니다. 한글로 챗을 할 때, 내용을 작성해 주다가 내용이 길어지면 위 그림처럼 중간에 끊는 경우가 있는데, 이럴때는 그냥 '계속해줘'를 입력하면 다시 이어서 대답을 작성해 줍니다. (아래 그림 참조)

 

'계속해줘' 키워드로 대답을 계속 이어가도록 하는 그림

 

위 스샷을 찍기 위해서 긴 대답이 나올 수 있는 질문을 하였고, 'chatGPT'가 한글을 처리하는 방법에 대해서 질문해 보았고, 그 답은 아래와 같다.

 

ChatGPT는 한글을 처리하기 위해서는 한글 자연어 처리에 특화된 학습데이터와 학습 방법이 필요합니다. 한글 자연어 처리에서는 형태소 분석(Morphological Analysis)과 음절 기반 토크나이징(subword tokenization)을 사용하여 텍스트를 단어나 토큰 단위로 분할하는 것이 일반적입니다. 이러한 토큰 단위로 분할된 텍스트를 ChatGPT의 입력으로 사용하면, 한글 자연어 처리를 수행할 수 있습니다.
한글을 처리하는 ChatGPT모델을 학습시키기 위해서는 크게 2가지가 중요합니다.
1. 한글 자연어 처리를 위한 학습데이터 수집, 전처리.
2. 한글 자연어 처리를 위한 토크나이저와 학습방법 선택.
학습데이터는 서울대 같은 기관에서 제공하는 공개 데이터나 사용자가 직접 수집할 수 있습니다. 이를 적절히 전처리 학습데이터를 전처리하는 과정에서는 텍스트를 정제하고, 형태소 분석, 음절 기반 토크나이징 과정을 거칩니다. 이러한 전처리를 통해 학습데이터를 이해하기 쉽게 만들어 줍니다.
이제 학습데이터가 준비되었으면, 한글 자연어 처리를 위한 토크나이저와 학습방법을 선택할 수 있습니다. 토크나이저는 음절 기반 토크나이저, 형태소 기반 토크나이저 등이 있으며, 학습방법은 일반적인 희소 괴도 언어 모델 학습방법, 그리고 fine-tuning 방법 등이 있습니다. 이를 통해 한글 자연어 처리를 수행할 수 있는 ChatGPT모델을 학습시킬 수 있습니다.