제주 산업수학 워크숍 막정리
수리연 제주 산업수학 워크숍 1일차
System Identification and Online Learning of LQR. 김연응(서울과학기술대학교)
In this talk, two aspects of learning stochastic Linear Quadratic Regulator (LQR) are discussed. Beginning with the exploration of the offline system identification problem, a recent result on the online learning problem is introduced. We first take a Bayesian perspective to identify unknown parameters of linear stochastic systems with possibly non-Gaussian disturbance distributions. We show that the proposed algorithm asymptotically achieves the concentration of posterior distributions around the true system parameter. We then extend the idea introduced to the online learning problem by leveraging the idea of Thompson sampling (TS). TS is known to effectively address the exploration-exploitation trade-off in online learning problems including reinforcement learning for linear-quadratic regulators (LQR). We propose a new TS algorithm for LQR, exploiting Langevin dynamics to handle a larger class of problems including those with non-Gaussian noises. The talk is based on the joint work with Gihun Kim and Insoon Yang (Seoul National University).
참고한 링크
sampling, potential(pdf에 –log), linear congruentail generator -> midel square metod(폰노이만), markov chain monte carlo(MCMC),
sample complexcity(머신러닝 관점에서 표본을 무한대로 뽑는건 불가능), metropolis-hastings vs MALA ,
데이터의 차원이 너무 높아져서 sampling을 어떻게 빨리 잘 할 것인가에 대한 연구, langevin based sampling
2. 그래프 신경망 및 이종 그래프로의 응용과 챌린지 소개. 신원용(연세대학교)
그래프 신경망 (GNN: graph neural network)은 그래프에서 높은 표현 능력과 함께 특징 정보를 추출하는 방법론으로 학계와 산업체에서 최근 폭발적인 관심을 받고 있다. 본 강연에서는 그래프 신경망의 개요 및 주요 동작 원리를 다룬다. 구체적으로, message passing의 원리를 이해하고 state-of-the-art 알고리즘에서 사용한 다양한 message passing 함수를 소개한다. 다양한 종류의 그래프들이 존재하지만, 본 강연에서는 이종 그래프 (heterogeneous graph)에서의 그래프 신경망을 활용하여 표현 학습을 하는 방안을 소개한다. 크게 두 가지 방법론이 있는데, meta-path 기반 그래프 신경망 학습법과 관계 예측 기반 그래프 신경망 학습법을 다룬다. 또한, 존재하는 이종 그래프에서의 표현 학습 시 생각해볼 수 있는 여러 연구 챌린지 또한 소개한다. 마지막으로, 발표자 연구실에서 제안한 이종 그래프가 불완전할 경우 관계 예측을 통해 그래프 신경망을 설계하는 새로운 방법을 공유하고 토의한다.
network embedding
질문 -> transformer에서 쓰이는 embedding과 다르게 GNN만의 encoding이 이점이 무엇인가? (multimodal 에서의 ?)
message passing : 내 vertex와 인접한 vertex의 feature를 섞는다. -> layer를 높일수록 이웃의 이웃의 이웃..
Aggregate function -> 어떻게보면 self-attention으로 볼 수도 있겠다...(디자인초이스)
GCN, GraphSAGE, GAT, GIN ... GNN입문자라면 이정도 논문정도는
Pytorch나 tensorflow로 GNN을 구현하면 성능이 잘 안나온다? -> Over-smoothing problem (layer를 4~6개만 쌓아도 성능이 확 떨어짐 왜? -> layer 깊게쌓으면 feture간 구분 X), Homophily problem (edge homophily ratio가 높은 graph에서 GNN을 사용해야한다.)
heterogeneous information network (HIN), meta-path, self-attention 미쳤네..꼭 이해하자..
수리연 제주 산업수학 워크숍 2일차
Diffusion Models for Inverse Problems in Medical Imaging. 예종철(KAIST)
Recently, diffusion models have been used to solve various inverse problems for medical imaging applications in an unsupervised manner. However, the current solvers, which recursively apply a reverse diffusion step followed by a measurement consistency step, often produce sub-optimal results. By studying the generative sampling path, we show that current solvers throw the sample path off the data manifold, and hence the error accumulates. Furthermore, diffusion models are inherently slow to sample from, needing few thousand steps of iteration to generate images from pure Gaussian noise. In this talk, we show that starting from Gaussian noise is unnecessary. Instead, starting from a single forward diffusion with better initialization significantly reduces the number of sampling steps in the reverse conditional diffusion. This phenomenon is formally explained by the contraction theory of the stochastic difference equations like our conditional diffusion strategy - the alternating applications of reverse diffusion followed by a non-expansive data consistency step. Furthermore, we propose an additional correction term inspired by the manifold constraint, which can be used synergistically with the previous solvers to make the iterations close to the manifold. Experimental results with image inpainting, and compressed sensing MRI and sparse-view CT demonstrate that our method can achieve state-of-the-art reconstruction performance at significantly reduced sampling steps.
참고한링크
https://process-mining.tistory.com/182 (diffusion model 설명)
noise2noise noise2self, score function?
마르코브체인몬테카를로, 오토인코더 등등 공부하면 좋을 듯?
2. 응용수학과 딥러닝의 산업에의 적용. 강명주(서울대학교)
1990년 이후 많은 수학자들이 레벨셋(Levelset) 방법, 편미분 방정식 및 변분법을 기반으로 한 이미지 처리를 연구해왔습니다. 레벨셋 방법은 영화에서 실제 장면을 만드는 데 주요 기술 중 하나였습니다. 이미지 처리 연구에서는 TV 및 최적화 기술을 사용하여 많은 향상이 있었습니다. 그러나 갑자기 딥러닝 방법이 등장하여 매우 어려운 또는 미해결 문제를 해결하는 데 사용되는 기술이 되었습니다. 저는 레벨셋 방법, 이미지 처리 및 딥러닝의 이론과 응용, 또한 산업에의 적용에 대해 발표하려고 합니다.
vision transformer ??
미방
내가 수학과에서 배운 것들이 완전 기본으로 깔고 들어간다는 느낌. 이산수학이나 확통에서 봤던 용어들이 반갑다. 익숙하다. 학점을 위한 공부만한줄알았는데 그건 아닌가보다. 이게 여기서 이렇게 튀어나오는지 몰랐다.
4. 소재 및 반도체 AI 연구 현황 및 향후 발전 방향. 최영상(삼성종합기술원)
SAIT은 지난 수년간 딥러닝 기반 음성인식, 얼굴인식 기술 등 AI 기술을 개발하여 성공적으로 소비자 제품에 적용해 왔으며, 이를 통해 축적된 기술을 바탕으로 반도체 설계, 제조, 품질 등 반도체 개발의 효율화와 신소재 개발 프로세스 혁신을 위한 소재개발 AI 기술을 개발 중이다. 소비자향 AI 기술과 비교할 때 반도체, 소재 연구 등 기술 개발 효율화를 위한 AI 기술은 학습 데이터의 규모와 비용, 도메인 전문가의 지식 활용 필요성 등에서 큰 기술적 도전에 직면하고 있으며, 알고리즘 연구자들이 현업 도메인 전문가들과의 협력을 통해서 이 문제를 해결하고 있다. 거대 언어모델을 포함한 지속적인 연구 개발을 통해 Autonomous Fab 및 Autonomous Lab의 비전을 달성하기 위해 지속적으로 연구할 계획이다.
language model이 다른 모든 문제를 풀 수도 있다 . . .!? (language model의 중요성?) large language model의 중요성
chemophobia ㅋㅋㅋㅋㅋ ai를 하는 사람들이 물질을 연구해야 하는 이유 ??
Holy Grail ? Map of the New Marterials ㄷㄷㄷㄷ....
end to end ai?
수리연 제주 산업수학 워크숍 3일차
Stochastic Differential Equations + Deep Learning = Diffusion Probabilistic Models. 류경석(서울대학교)
This tutorial overviews the recent development of diffusion probabilistic models and their connection with stochastic differential equations.
이미지에 가우시안 노이즈를 어떻게 입히는 걸까?
DIffusion model are SOTA (최고의성능)
생성모델은 다른 딥러닝기법보다 수학을 더 많이씀 특히 diffusion model은 더더욱
marginal, joint, + expectation, density function 등등.. 미방과 확통의 관계가 엄청 나구나.. PDE, SDE (미방의 해를 확통의기법으로 푸는느낌?) (아 애초에 이름이 확률미분방정식이구나...ㅋㅋㅋ)
류경석 교수님 강의 미쳤다.
sde diffusion model 시간 되돌리는 부분 너무 흥미롭다... (Anderson’s reverse time SDE theorem) -> 이게 왜 돼 ㄷ ㄷ ㄷ
pf : forward process와 Andersom 이론을 사용한 reverse process의 marginal dist가 같다 -> FP equation을 이용
ornstein-uhlenbeck 얘는 뭔데 계속 등장해
확률미분방정식 배워보고싶다...진짜
노이즈를 제거할 때 원래 이미지에 노이즈가 입혀진 것에 이미지가 제거되는 것인가? 어떻게 아예 노이즈만 있는 것 같은 이미지에서 저렇게 서로 다른 이미지 생성이 가능한거지? (아예 원래 clean 한 이미지가 아니라 노이즈만 있는 이미지에서 저런 새로운 이미지를 생성하는 것인가? 그게 가능한건가?)
socre fuction을 모르기 때문에 딥러닝 기법으로 학습을 한다. -> 전에 수리연 세미나에서 들은 것 같은데????
euler discretization (수치해석?) 아 수치해석 꼭 들어야겠다...
2. Introduction to AI in Medicine. 김남국(서울아산병원)
근래에 혁명적인 인공지능의 발전은 사회 전반에 영향을 끼치고 있다. 특히, 의료 분야에 적극적으로 도입되고 있으며, 향후 많은 의료가 바뀔 것으로 예측된다. 역사적으로 산업화 대열에 늦게 참여한 우리나라에게 인공지능혁명의 도래는 ‘위기이자 기회’가 될 수 있다. 이 ‘딥러닝’ 기술은 자연어 처리, 영상, 음성 등 다양한 영역에서 인간을 넘어서는 성능을 보여주고 있다. 특히 최근 생성 인공지능의 성공적인 개발 및 적용은 의료 분야에서 또 한 번 도약을 할 수 있는 상황이 되었다고 생각된다. 의학분야에서도 인공지능이 개발 시점을 지나서 적극적으로 도입되고 있다. 유수의 해외 저널에서 다양한 인공지능이 다양한 질환을 진단하는 것이 그 분야 전문의와 필적하는 성능을 보인다는 연구나 출간되고 있을 뿐더러, 이제 인공지능을 활용하여 실제 진료에 얼마나 도움이 되고 있는지에 대한 논의를 적극적으로 하고 있다. 하지만, 병원의 특성상 다양한 분야에 다양한 필요성이 있지만, 적극적으로 활용되기 위해서는 넘어야 할 산이 많다. 본 강의는 목요일에 있을 의료 인공지능 Session의 introduction 개념으로 준비되었다. 다양한 임상 진료의 관점에서 자연어처리, 영상, 시그널 등의 인공지능이 어떻게 개발되고, 적용되고 있는지에 대한 개괄을 할 예정이다. 병원에서 연구하는 공학자 입장에서는 이런 기술을 개발하고 적용하는데 필요한 지식을 전달하여 목요일 강의의 준비를 할 수 있게 하는 것이 본 강의의 목표일 것이다. 특히, 다양한 의료 분야에서 진행되고 있는 인공지능 학습 경험, trends 등을 정리하고, 이를 학습할 때 생기는 다양한 문제들을 정리할 것이다. 특히 의료 데이터의 long tail 특성에서 오는 imbalance 문제나 rare pattern 등을 어떻게 해결할 것인지, 또한 convenient sampling에서 오는 bias 문제, novelty issue, continual learning issue 등을 다룰 예정이고, 이를 해결하기 위한 다양한 전략이나 기술 등도 다룰 예정이다.
paperswithcode
Curriculum learning : 정답을 미리 알려주고 pretrain하고 transfer learning하면 학습이 더 잘된다 . .오 . . .?
multi-task learning은 뭐지
수리연 제주 산업수학 워크숍 5일차
Recent Trends in Out-of-Distribution Detection. 현윤석(인하대학교)
Most current machine learning (ML) models are trained with the assumption that all testing data comes from the same distribution as the training data, known as the closed-world assumption. However, this assumption is difficult to maintain in real-world scenarios. Inevitably, ML models will encounter examples that are different from what they were trained on, known as out-of-distribution (OOD) samples, which can jeopardize model safety. Over the last six years, a wide array of techniques for detecting out-of-distribution samples have emerged, spanning from methods based on classification to those utilizing density and distance. In this seminar, we will briefly describe the basic concept of out-of-distribution detection algorithms and the details of old and new research trends in this topic.
scene segmentation / resnet 구조도 공부를 해볼까? / gan의 논문을 하나만 보고 공부해야한다면 style gan
유용한 내용들이 많다.. 발표자료 꼭 받아가야 겠다.
3d -> nerf page참조 / CLIP -> 지금 성능이 너무 좋아서 여러 모델에서 CLIP구조의 pretrained 된 weight를 가져옴
CVPR Tutorial List 로 공부해도 괜찮다. / generative AI, vision, langauge 들은 거의 필수임 이제.
2. Panel Discussion. “인공지능, 수학 그리고 산업”
학부생떄는 모든 수학을 배우며 그 수학의 분야를 꿰뚫울줄 알아야하고 그 후에 수학을 소비할지 생산할지 결정하는게 맞는 것 같다.
한국 수학의 정서...?
알고리즘도 성능이 안나오면 결국 다 뜯어고쳐야되는데 개발자들이 여기서 막히는게 수학.
수학자들이 살아남는 방법..? 응용수학과 순수수학의 차이?
성과를 내고 친구를 만드는게 아니라 친구를 만들고 뭘 해야할지를 보고 성과를 내는게 순서다. 사람들은 반대로 한다.?
인공지능에 수학이 중요하다는 거짓말, SDE
산업수학이 인공지능과 연관이 깊은 이유?
수학적 최적화를 쓸 것이냐 인공지능 기법을 쓸 것이냐는 문제를 본 다음 결정해야 하는 것.
현윤석 교수님 - 기업 사람들은 수학을 모른다. 그저 빠른 시일내에 문제가 풀리거나 성능이 좋아지길 바랄뿐
조도상 박사님 - 수학자가 기업문제를 해결하는 가장 좋은 방법은 수학을 사용하지 않는 것.
지금은 코딩과 인공지능을 주로 사용하는 것이 맞다. 그러나 수학자만이 할 수 있는 생각의 방식, 수학을 배운 것에서의 차이, 그리고 앞으로 인공지능 말고 더 좋은 것이 나온다면 우리는 그것을 사용해야할 것이다.
(산업수학이라는 것은 시대에 따라 그 의미도 같이 변해야하는 것인 것 같다는 생각.)
성대 수학 교수님 - 공학자와 수학자의 생각의 차이, 수학자가 이것이 그렇게 만들어질줄 알고 그 이론을 만들었을까?
응용수학을 전공해야한다?
(그럼 TDA는 응용수학인가?, TDA는 어떤분야에 속하는거지?, 김민중박사님은 어떤 전공으로 박사학위를 받으신거지?)
통계, 데이터분석, 인공지능이 다 비슷한건줄 알았는데 뿌리가 얼마나 다르고 각자의 세계가 얼마나 넓고 큰지 느낌
산업수학혁신센터.