20201209
생각은 머리속 언어, 이미지, 소리, 경험에 의해 기억된 객체들, 등이 어우러져서 이루어 지는 듯.
그런데 꿈이나 생각속의 나와 객체들이 어떻게 자율적으로 반응하지?
통계적인 뉴런에 연결돼 있어서?
통계적 뉴런이기 때문에 제어하려면 평소 인풋 기억과 내면의 대화를 잘 관리해야 할 듯
평소에 자기 전 하루의 도전을 정리하고 질문하기
아침에 눈뜨면 어제 과거를 되돌아보고 반성하고 미래를 상상하며 대비하며 생각하기
머신러닝 뉴럴넷도 마찬가지 평가 함수가 질문이고, 학습 데이터를 인풋으로 기억(학습) 만들기.
이것들을 잘 이용해서 인공신경망을 제어하는 것
언어 모델이 어떻게 번역 분류 질의 등의 문제를 해결하는가?
다이내믹 프로그램을 자동으로 짜게 하려면?
핵심 기능 단순한 프로그램이 기능을 추가함에 따라 어떻게 복잡해지는가?
---
[출처] https://www.kakaobrain.com/blog/118
- 언어 모델이 어떻게 자연어 처리 문제들(번역, 요약, 분류, QnA 등)을 해결하는가?
pretrain -> embedding -> fine tuning
(추천 동영상입니다 음미하시면 꼭 자연어 처리에 한정되지 않고 머신러닝 문제들을 어떻게 해결하는지 프레임을 보실 수 있을 것 같습니다)
- 다이내믹 프로그래밍
[출처] https://new93helloworld.tistory.com/220
1 분할 정복 가능
2 작은 문제의 답을 큰 문제에 재활용(이전의 답을 재활용)
위의 동영상에도 이전에 학습한 문장을 벡터로 만들어 검색한다는 내용이 있는데..
- 복잡한 프로그램을 어떻게 단순화할지? 추상화, 객체지향(OOP)