2025 계산뇌과학 겨울학교

지난 2월 10~13일까지 카이스트에서 진행한 계산뇌과학 겨울학교를 다녀왔습니다. 그 중에서 재밌었던 부분을 소개하고자 합니다.

Random noise

confidence calibration에 대한 문제가 존재했다. 인공지능은 모른다는 것을 모르기에 이에 대한 문제를 해결해야함. random noise를 pretrain하여 confidence level을 chance level로 맞추게 된다면 모르는 data에 대해 chance level수준으로 confidence level을 출력할 수 있게 됨 → 즉, 모른다는 것을 모른다고 말할 수 있게 됨.

• random study를 통해 알아낸 것
  • face-selective neuron이 존재
    • random noise를 training해도 face에 반응하는 neuron이 존재함
  • number-selective neuron이 존재
  • ground truth대신 random noise로 feedback 시 학습 가능

관련 논문

• Gwangsu Kim et al. ,Visual number sense in untrained deep neural networks.*Sci. Adv.*7,eabd6127(2021).DOI:10.1126/sciadv.abd6127
• Cheon, J., & Paik, S. B. (2024). Pretraining with random noise for uncertainty calibration. arXiv preprint arXiv:2412.17411.
• Cheon, J., Lee, S. W., & Paik, S. B. (2024). Pretraining with Random Noise for Fast and Robust Learning without Weight Transport. arXiv preprint arXiv:2405.16731.
• Hyeonsu Lee, Woochul Choi, Dongil Lee, Se-Bum Paik, Comparison of visual quantities in untrained neural networks, Cell Reports, Volume 42, Issue 8, 2023.

진정한 고수란… 데이터에서 중요한 feature를 뽑는 것이다…

해커톤에 대한 이야기를 소개하고자 합니다.

해커톤은 12개의 뇌 영역을 두 계층으로 분류하는 것이었습니다. 상의 영역으로 갈 수록 정보처리의 timescale이 길어진다는 사실을 가정하여 진행.

팀 접근법

1. timescale 구하여 나열하기

   1. autoregression을 활용하여 구함.

   

2. RNN을 통해 timescale 새로 정의

   1. 과거의 neuron firing time을 어디까지 고려할 것인지를 window size로 잡아 이를 조정하면서 어느 과거까지의 neuron firing 영향을 받는지 예측