GPT 출시 이후 인공지능 분야의 동향 및 변화

□ 요약문

□ ChatGPT 출시 후 폭발적인 시장 반응
⚪월 사용자 1억명 돌파, 유료 버전 이용자 3일만에 100만명 돌파

□ GPT 출시 전 인공지능 연구의 발전 과정을 알아봄
⚪ 1980년, 딥러닝의 등장부터 2017년, 트랜스포머 모델까지

□ GPT 시리즈의 히스토리
⚪ 2018년, GPT-1에서 2023년 GPT-4 까지 각 모델의 발전 과정을 알아봄

□ GPT 출시 후 인공지능 산업 동향에 대해 알아봄
⚪ NLP 개발 동향과 AI 오픈소스 생태계, AI API를 통한 활용 방법의 변화를 알아봄

□ CONTENTS

1. 작성배경
   ⚪ChatGPT에 대한 폭발적인 시장 반응

2. GPT 출시 전 인공지능 연구 발전 과정
   ⚪GPT 탄생 배경

3. GPT 출시 후 발전 과정
   ⚪GPT 히스토리

4. 인공지능 산업 동향
   ⚪자연어 처리 모델 동향
   ⚪AI 오픈소스 생태계의 대립
   ⚪AI 활용 방법의 변화

1.작성배경

□ ChatGPT에 대한 폭발적인 시장 반응
⚪ ChatGPT 두 달 만에 월 사용자 1억명 돌파
- 대화형 인공지능인 챗봇(Chatbot)은 사용자와 대화하며 필요한 정보를 제공하거나 문제를 해결해주는 등 다양한 역할을 수행함
- 미국의 스타트업 OpenAI에서 개발한 ChatGPT는 2022년 11월 출시 이후 2달 만에 월간 활성 이용자(MAU) 1억 명을 돌파하며 역대 가장 빠른 기록 경신
- MAU 1억 명 도달에 인스타그램이 30개월, 틱톡이 9개월 걸린 것에 비해 역대 가장 빠른 기록

출시 후 각 서비스들이 MAU 1억 달성까지 걸린 기간
*출처 : UBS

⚪ ChatGPT 유료 이용자 수 100만명 돌파
- ChatGPT로 운영되는 총 가용 시장이 1조 달러(약 1천조 원)에 육박
- 월 정액 20달러의 ChatGPT 유료 버전 이용자 수가 3일 만에 100만명 돌파

2.GPT 출시 전 인공지능 연구 발전 과정

□ GPT 탄생 배경
⚪1980년, 딥러닝의 등장
- 딥러닝 용어가 처음 나온 것은 1980년대
- 딥러닝 알고리즘 구현을 위해서는 빅데이터가 필요함
- 당시 데이터와 컴퓨팅 속도 부족으로 딥러닝이 발전하지 못 함

⚪2012년, 알렉스넷의 등장
- 2010년부터 시작된 이미지넷(ImageNet)은 무려 1,000개가 넘는 카테고리로 분류된 100만개의 이미지를 인식하여 그 정확도를 겨루는 대표적인 시각 지능 대회
- 2012년 이미지넷(ImageNet)에 알렉스가 들고 나온 알렉스넷(Alexnet)은 나선형신경망(Convolution Neural Network, CNN)을 사용하여 심층 신경망(Deep Neural Network)을 구현한 것으로, 기존의 기계 학습법(Machine Learning)을 더욱 발전시킨 딥 러닝(Deep Learning)
- 알렉스넷(Alexnet)은, 이미지 분류 정확도를 10%p 이상 향상시키며, 딥러닝 활용의 신호탄이 됨

⚪2014년, GAN의 등장
-2014년 이안 굿펠로우(Ian Goodfellow)가 소개한 GAN(Generative Adversarial Network)이 생성적 AI(Generative AI)의 대표적 핵심 기술이 되었음
- GAN은 실제 데이터와 유사하게 새로운 것을 만들어내는 생성자와 만들어진 것을 평가하는 판별자가 끊임없이 서로 대립하며 성능을 개선해나가는 방식
- GAN 개념이 전 세계적으로 공개된 이후 전 세계적으로 생성 모델에 대한 추가 연구가 지속되어 현재는 이미지 합성, 스타일 전이 등 다양한 분야에 활용되고 있음
- 2014년 이전 AI는 이미지 분류‧인식 분야에 주로 활용됐으나, 2014년 GAN의 등장으로 창조적인 생성 모델의 시대가 시작되었음

⚪자연어처리 패러다임의 변화, 트랜스포머 모델 등장
- 구글의 2017 년 논문에 처음 등장한 트랜스포머는 지금까지 개발된 모델 중 가장 새롭고 강력하였음
- 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망으로 어텐션(attention) 또는 셀프어텐션(self-attention)이라 불리며 진화를 거듭하는 수학적 기법을 응용해 서로 떨어져 있는 데이터 요소들의 의미가 관계에 따라 미묘하게 달라지는 부분까지 감지하는 방식
- 트랜스포머가 등장하기 이전에는 데이터를 순차적으로(단어의 순서) 처리하는 순환신경망(Recurrent neural network, RNN) 방식을 활용하였으나, 트랜스포머의 병렬화로 인해 대규모 데이터셋을 학습할 수 있게 되어 순차적 학습(RNN)에서 병렬 처리(트랜스포머)로 패러다임이 변화됨

트랜스포머 모델의 전체 구조도

⚪트랜스포머 기반 알고리즘으로 다양한 기업들이 자사 모델 출시
- 구글 : BERT
- 페이스북 : RoBERTa
- 오픈AI : GPT
- MS : Turing NLG

3.GPT 출시 후 발전 과정
□ GPT 히스토리
⚪ 2018년, GPT-1의 등장

• 1억 1,700만 개의 매개변수
• OpenAI는 Transformer의 디코더에 주목해 GPT라는 모델을 만들었음
• GPT는 라벨이 없는 데이터를 먼저 학습시키고 추후에 라벨이 붙은 데이터를 학습시킴으로써 라벨이 필요없는 데이터를 학습시키는 방식도 유효하다는 것을 입증
• 구글의 BERT 모델에 비해 성능이 부족해 사람들에게 주목 받지 못함

⚪ 2019년, GPT-2의 등장
- 15억 개의 매개변수
- 2019년에 OpenAI는 "Language Models are Unsupervised Multitask Learners"라는 논문을 발표
- GPT-2는 대용량의 WebText 데이터셋을 기반으로 조정 없이 task를 수행하는 모델
- OpenAI는 대용량 데이터를 잘 학습시키면 어떤 task에도 수행 가능하다는 것을 알게 되었음
- GPT-2는 사람들에게 관심을 받았으나 여전히 BERT에 비해 파급력이 약했음

⚪ 2020년, GPT-3의 등장
- 1,750억 개의 매개변수
- 2020년 5월, OpenAI는 "Language Models are Few-Shot Learners"라는 논문을 발표하고 GPT-3를 발표
- GPT-3는 프롬프트만으로 task를 수행하는 in-context learning을 사용해 기존 공식을 깸
- 출시 직후 GPT-3는 사회적, 업계적으로 큰 충격을 주었음
- GPT-3는 문장 생성에서 압도적인 수준을 보이는데, 데이터 크기와 모델의 크기가 커졌고 데이터의 정제에 많은 노력이 들어갔음

⚪ 2023년, GPT-4의 등장
- 매개변수 알 수 없음(5,000억개 안팍으로 추정)
- GPT-3.5는 GPT-3와 동일한 학습 방식을 채용하면서도 RLHF 기법을 추가로 도입하여 언어모델을 최적화한 것
- 이를 통해 모델의 성능이 향상되었고, OpenAI는 이를 ChatGPT라는 형식으로 발표함
- GPT-3.5의 혁신은 마이크로소프트와의 협업에서 비롯됨
- 이를 토대로 GPT-4가 개발되었고, 멀티모달과 많은 글자수 추론이 가능해짐
- GPT-4는 언어뿐만 아니라 그림 분석과 표 생성도 가능하며, 최대 32,768개의 토큰을 처리할 수 있음 (50페이지가 넘는 텍스트를 읽고 추론 가능)

GPT 시리즈의 변천과정
*출처 : 모두의연구소

4.인공지능 산업 동향

□ 자연어 처리 모델 동향
⚪AI 기술의 변화
- 머신러닝 기술의 러닝 알고리즘 중심에서 딥러닝 CNN, RNN의 Feature 아키텍쳐 중심으로, 다시 Foundation Model의 기능 개선 중심으로 진화

⚪ GPT 3 출시 후 방대한 데이터 학습의 중요성 대두
- GPT는 방대한 데이터셋에 기반한 자연어 모델이 AI 성능을 크게 개선할 수 있다는 것을 증명
- 데이터 학습량이 어느 임계점을 돌파하면서 인공지능이 성능이 급격히 좋아짐
- 모델에 대한 발전 보다는 학습 데이터양을 늘리는 방향으로 인공지능 산업이 변화됨

□ AI 오픈소스 생태계의 대립
⚪공개에서 비공개로
- OpenAI는 비영리로 만들어졌으나 이후 하이브리드 모델로 전환
- 모회사는 비영리로 남아있고, 자회사는 영리 기업
- OpenAI-MS-NVIDIA 협력체제가 되며, OpenAI의 새로운 모델들에 대한 정보가 갈수록 줄어들고 있음
- 기존 AI 산업계는 논문과 코드를 오픈하는 것을 원칙으로 했지만, GPT-3는 논문은 공개했지만 코드와 모델은 공개하지 않았고, GPT-4 기술보고서는 처음부터 비공개로 방향을 잡음
- 이에 대항하기위해 개발자들은 OpenAI에 대항하는 커뮤니티로 EleutherAI 구축

□ AI 활용 방법의 변화
⚪AI 모델의 플랫폼화, 파인튜닝 대신 프롬프트 튜닝
- 기존에 AI 모델을 특화된 목적으로 활용하려면 원하는 데이터를 수집 후 파인튜닝을 통한 최적화 작업이 필요했음
- GPT3.5(ChatGPT)과 같은 초거대 AI 모델을 활용하면 단순히 프롬프트를 효과적으로 작성하는 것만으로도 파인튜닝한 것과 비슷한 효과 발생
- 개발 시간의 단축으로 스타트업이 GPT와 같은 초거대 AI의 API를 활용해 다양한 서비스를 빠르게 만들어 낼 수 있게 되었다는 것을 의미함

⚪ 소프트웨어 2.0 시대의 도래
- 소프트웨어 2.0이란, 기존의 규칙 기반 프로그래밍 방식이 아닌 머신러닝 모델을 사용하여 소프트웨어를 개발하는 방식을 의미함
- 기존 소프트웨어 1.0(인간이 직접 코딩) 방식과 달리 머신러닝 모델을 개발하기 위해 대규모 데이터가 필요함
- 모델이 학습을 통해 생성되기 때문에 오류가 발생할 가능성이 존재함
- 그럼에도 기존 개발 방식보다 빠르고 더 나은 성능을 제공할 수 있어, 앞으로 소프트웨어 업계에서 더욱 중요한 역할을 할 것을 예상 됨

Sofware 1.0과 2.0의 개념 비교
*출처 : Andrej Karpathy의 Medium

• MAU(Monthly Active Users) : 30일 동안 한 번 이상 접속한 이용자 수
• ChatGPT로 운영되는 총 가용 시장 : ChatGPT로 인해 발생하는 새 시장에서 나오는 수익 규모를 의미함
• 멀티모달(multimodal) : 여러 가지 다른 유형의 입력을 함께 처리하는 것을 의미. 예를 들어, 언어, 음성, 이미지, 비디오 등의 다양한 형식의 데이터를 동시에 처리하여 정보를 이해하고 추론하는 것. 인공지능이 다양한 정보를 종합하여 보다 정확한 판단을 내리는데 도움이 되는 기술
• CNN : Convolutional Neural Network의 약자로, 주로 이미지와 같은 고차원 데이터를 처리하기 위해 사용
• RNN : Recurrent Neural Network의 약자로, 순차적인 데이터를 처리하기 위해 사용
• Foundation Model : 대규모 데이터셋에서 사전 학습된 언어 모델

[참고문헌]
· 김미정(2023.2.3.), “챗GPT, 두 달만에 월 사용자 1억명 돌파...틱톡보다 빨랐다, ZDNET Korea
· 김주완(2023.2.15.), “챗GPT,돈 되네”...유료 이용자 100만명 돌파, 한경IT과학
· 이상헌(2023), “챗GPT, AI 시대의 게임 체인저”, DGB하이투자증권
· Xianrui Zheng, Chao Zhang, Philip C. Woodland(2021), “adapting GPT, GPT-2 and BERT language models for speech recognition”
· Ashish Vaswani, Noam Shazeer, Niki Parmar, jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin(2017), “Attention is all you need. In Advances in Neural Information Processing Systems”, Google Brain
· Devlin, Jacob, Ming-Wei Chang, Kenton Lee, Kristina Toutanova(2018), “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”, Google AI Language
· OpenAI(2023), “GPT-4 Technical Report”, OpenAI 웹사이트
· 이영빈(2023), “GPT-4 이해하기”, 모두의연구소
· 장준하(2021), “자연어처리의 민주화인가...GPT-3 독점에 맞선 오픈소스 그룹 새 모델 공개”, AiTimes
· 티타임즈TV(2023), “살면서 이런 기회가 또 올까요?”, 티타임즈TV Youtube 채널
· Andrej Karpathy(2017), “Software 2.0”, Medium