Token1 ChatGPT 알아보기 - Token 안녕하세요. 오늘은 ChatGPT 시리즈의 마지막으로 ChatGPT에서 Token에 대해서 알아보도록하겠습니다. Token이란 ChatGPT의 기본 단위입니다. 이 Token이라는 단위를 이용해서 가격을 설정하고 이전 대화의 컨텍스트를 유지하는 단위로도 됩니다. Tokenizing Token은 단어의 조각이라고 할 수 있습니다. 프롬프트가 입력되면 입력된 프롬프트는 모델에 처리되기전에 먼저 token으로 분할됩니다. 이렇게 token화 되는 방식은 정확하게 word만을 나누는것은 아니며 띄어쓰기, 컴마, 복합어 등을 기준으로 쪼개질 수 있습니다. https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them 에서 이야기하.. 2023. 6. 4. 이전 1 다음
