ChatGPT 정리
개인적으로 요즘 가장 잘 쓰고 있는 서비스 중 하나 ChatGPT에 대해 정리해보려고 한다.
출처는 밝힐 수 없지만 내용 대부분은 그 글에서 가져오고 조금의 정리를 더 했음.
개인 공부용으로 남기는 글.
1. 샘 알트만(전직 엔젤투자자), 일론 머스크, 리드 호프먼(링크드인) 3명이 구글의 인공지능 독점에 반대하여 'OpenAI'를 설립함
2. 2018년에 GPT-1, 다음 해에 GPT-2를 출시함.
3. 인공지능 즉 컴퓨터가 학습하는 방법에는 여러 가지가 있음 그중에 GPT는 딥러닝을 기반으로 학습을 함.
4. 딥러닝은 엄청나게 많은 연산이 필요함 특히 GPT같은 초거대 모델의 경우 파라미터가 천억 개를 넘어감.
5. 단순 계산이지만 엄청난 연산이 필요함으로 비싼 GPU가 많이 필요함.
6. OpenAI의 시작은 비영리였지만 아무리 부자들이라도 더이상 버티기 힘든 수준이 됨
7. 2019년 7월 일부 영리법인으로 전환하고 MS로부터 투자를 받아 차세대 GPT를 위한 학습 인프라를 구축함
8. 2020년GPT-3가 나오고 DALL-E1,2가 차례로 발표됨.
9. 22년 11월 마침내 ChatGPT 가 발표됨 챗 GPT는 GPT-3와 4 중간 단계인 GPT3.5 모델을 기반으로 개발됨.
10. GPT는 Generative Pretrained Transformer의 약자로 딥러닝을 사용하여 사람과 유사한 텍스트를 생성하는 일종의 대규모 언어 모델임.
11. 새로운 텍스트를 생성하므로 Generative가 들어가고, 사전에 대규모 텍스트 테이터 모음에서 훈련은 받아서 Pretrained라고 하며 GPT의 기반이 되는 모델이 Transformer라 GPT라는 이름이 됨.
12. Transformer 모델은 구글이 2017년에 'Attention is All You Need'라는 논문에서 발표함. CNN과 RNN을 대체하는 차세대 딥러닝 학습모델로 평가받고 지금은 거의 모든 딥러닝에 이 모델을 사용함.
13.GPT-3는 많은 주목은 받았지만 실제로 사용하기가 까다로워 일반인들은 접근이 힘들었음.
14.GPT-3에 RLHF라는 강화학습을 적용하여 챗봇처럼 대화에 최적화된 GPT-3.5(ChatGPT)를 내놓음.
15. 강화학습은 정답을 모르는 상태에서 경험을 기반으로 최대의 보상을 가져다 주는 해답을 찾는 학습법.
16. 강화학습을 더한 GPT-3는 마치 사람과 같이 자연스러운 문장을 구사할 수 있게 됨.
17. 위에서 설명했지만 딥러닝 학습에는 어마어마한 GPU 계산 자원이 필요함. 단순하지만 그 수가 많기에 CPU보다는 GPU를 이용함.
18. 분석에 따르면 현재 ChatGPT는 2.5만 개의 NVIDA GPU를 사용하고 있다고 함.
19. 고성능의 많은 양의 GPU는 딥러닝에 절대적 요소라 엔비디아 주가가 오를 수밖에 없는 이유이기도 함
20. 1월 23일 MS는 OpenAI의 100억 달러를 투자하며 지분을 가져감.
21. 2월 7일 MS의 검색엔진 Bing에 ChatGPT를 탑재함.+ 향후엔 office군에도 탑재할 예정.
22. ChatGPT에 위기를 느낀 구글은 Bard를 발표하지만 시연회 중 오답을 내놓는 등 시장의 실망으로 주가가 하락함.
23. Google이 지금은 살짝 밀리는 듯 보이지만 전문가들의 의견은 구글은 AI최고 수준의 회사로 이미 ChatGPT와 비슷하거나 우위에 있는 모델이 있을 거라는 게 평 다만 사업화에는 아직 의구심이 있어 출시를 안 했으나 ChatGPT로 인해 예상보다 빨리 시장에 내놓을 것이라 판단됨.
24. ChatGPT는 현시점에서 일반인들이 사용할 수 있는 최고 수준의 AI 서비스라고 생각됨. 다만 몇 가지 문제가 있음.
25. 신뢰성에 문제가 있음 GPT가 생각하는 것처럼 보이지만 실제로는 그저 학습한 답을 내놓을 뿐 잘못된 답도 자신 있게 말하는 경우가 상당히 많음 특히 한글의 경우에는 신뢰성이 아주 떨어짐.
26. 저작권의 문제 즉 GPT가 학습한 바탕이 되는 글, 소스등의 저작권은 무시한 체 배웠을 확률이 높음.
한 줄 요약. 많은 AI서비스가 있었지만 정말 사람들이 원하던 것이 나온듯함. GPT3.5 만해도 이 정도인데 내년에 나올 거라는 GPT4는 상상하기 어려울 정도..