인공지능 발전사 (with 핵심 모델)

1. 다트머스 회의(1956년)

“인공지능” 이라는 용어가 처음 사용. 인공지능 개념을 세상에 알리는 계기

---

2. 1차 AI 붐 - 단층 퍼셉트론(1958년)

프랭크 로젠블랫에 의해 제시된 최초의 신경망 기반 인공지능.
인간의 뉴런의 기능을 모방한 계산 방식을 제시.
초기 활성함수는 뉴런과 동일한 sigmoid를 제시함.

---

3. AI의 겨울 - XOR 문제(1970년대)

마빈 민스키와 세이무어 페퍼트 (다트머스 회의에 참여한 과학자)가 단층 퍼셉트론으로 XOR 문제를 해결 할 수 없다고 증명해버림.
이로써 인공지능 기술이 비선형 문제를 해결 할 수 없다는 것이 증면 되면서 가치없는 기술로 여겨짐.

---

5. 다층 퍼셉트론(MLP) 과 역전파 알고리즘(1986년)

제프리 힌턴 이 제시. 단층 퍼셉트론의 한계인 XOR 문제를 해결한 방법.
이 방법은 계산 복잡도가 기하급수적으로 증가한다는 큰 단점을 가지고 있었는데 역전파 알고리즘 을 도입 함으로써 해결함. 이 이론에 의해 AI의 겨울을 종식 시킴.

---

6. 기울기 소실 문제(1991년)

세프 호크라이터에 의해 제기된 다층 퍼셉트론의 문제점 입니다. 기울기 소실 문제는 깊은 신경망에서 역전파 과정 중 앞쪽 층으로 갈수록 기울기가 점점 작아져 결국 학습이 제대로 이루어지지 않는 현상을 말합니다.

기울기 소실 문제 외에도 다층 퍼셉트론은 시간 복잡도와 공간복잡도가 너무 큰 계산이라는 문제가 있었다.

---

7. ReLU 활성함수 & GPU 등장(2000년대 초)

ReLU 활성함수를 제시하면서 기울기 소실 문제를 완화시키는 것을 제시했다.
하지만 여전히 기울기 소실 문제는 남아있었으면 이후 여러 기법들에의해 점진적으로 완화된다.

GPU가 CPU와 같은 역할을 할 수 있게 발전하고 더 나아가 병렬처리에 특화되면서 엄청난 계산량을 동시다발적으로 계산하는 것이 가능해졌다. 이로써 다층 퍼셉트론의 시간 복잡도 문제와 공간 복잡도 문제가 완화되었다.

---

8. ImageNet 데이터셋 공개와 대회 (2009년)

스탠포드 대학의 페이 페이 리 교수팀이 약 1500만개의 이미지를 22000개 이상의 카테고리로 분류된 데이터셋 공개.
해당 데이터 셋을 공개하면서 바로 다음해인 2010년부터 이미지 분류 대회(ImageNet)을 개최한다.
해당 대회에 거대 IT 기업들(구글, 마이크로소프트, 바이두, 아마존 등)이 대거 참가하면서 CV분야가 엄청나게 발전된다.
2017년 NAS 모델을 끝으로 대회는 종료된다. 왜냐하면 오류율이 인간이 직접 했을 때 보다 낮은 성능을 기록했기 때문이다. 즉 이미지 분류 태스크에서 인간을 뛰어넘은 성능을 내는 모델을 만들어냄으로써 대회가 끝이났다.

---

9. AlexNet(2012년)

제프리 힌턴 교수팀이 AlexNet을 통해 Imagenet 대회 우승함.
CNN 을 활용하여 이전 대회 우승 모델들에 비해 엄청난 성능 향상을 보여줌.
이 사건을 계기로 CNN의 시대를 열었다.

---

10. ResNet(2015년)

마이크로소프트에서 개발한 모델. 2015년 ImageNet 우승 모델.
잔차학습 이라는 혁신적인 학습법을 제안한 모델.
해당 방법은 최신 모델들에도 늘 적용되는 기술이다.

---

11. 알파고(2015년)

인공지능이 최초로 바둑으로 인간을 뛰어넘음.
이 사건을 계기로 전문가 뿐 아니라 일반인들 조차 인공지능을 인식하는 계기가 됨.

---

12. Transformer(2017년)

google에서 제시한 NLP모델. 해당 모델로 인해 CV의 관심을 NLP로 싹 가져올 수 있었다.
Transformer를 제시한 논문 “Attention All You Need”는 인공지능 개발자의 필독서가 되었다.
해당 모델의 성능에 감탄한 CV분야는 해당 모델을 CV에 적용하려 노력했고 이로써 ViT 모델과 Swin모델이 개발되었다.

---

13. GPT3.5(2022년)

Transformer와 GPT3.5사이에 많은 핵심 모델들이 있지만 해당 모델들은 CV와 NLP를 배울때 핵심적으로 다루자.
여러 GPT버젼이 있지만 3.5를 부각한 이유는 3.5에서 RLHF 라는 기술을 도입함으로써 F감성을 부여받았다. 인간이 원하는 바를 눈치채고 인간의 의도대로 움직이는 인공지능의 등장이었다.
심지어 ChatGPT3.5를 무료로 일반인들에게 공개하면서 일반인들도 인공지능을 사용하는 시대를 제대로 연 모델이었다.