Site Title

[작성자:] Sam

  • ONN:Optical Neural Network 광학신경망에 대하여

    기존의 ai는 gpu를 이용해 연산한다. 즉 전자회로를 이용하는 것이다.

    ONN은 이와는 다르게 광학을 이용해 연산한다. 물리적으로 아얘 다른 장치에서 작동하는 것이다.

    항목전통 신경망 (CNN 등)광학 신경망 (ONN)
    연산 방식전자 회로에서 수치 연산 (CPU, GPU)광학 소자(레이저, 렌즈, 광변조기 등)를 통한 연산
    속도빠르지만 전력 소모 큼빛의 속도 → 초고속, 전력 소모 거의 없음
    병렬성병렬처리 제한적자연 병렬성 매우 강함 (빛은 동시에 여러 경로 가능)
    연산 예행렬 곱, ReLU 등간섭, 회절, 비선형 필터 등으로 근사
    단점발열, 전력소모정밀 제어 어려움, 오차 많음, 학습은 보통 못 함

    Physics-Constrained Comprehensive Optical Neural 논문에서는 큰 오차에 대한 문제를 해결하는 방법을 제시한다.

    논문: “Physics-Constrained Comprehensive Optical Neural Networks”,
    Ziqi Yan et al., NeurIPS 2023

    바로 DNN 신경망으로 ONN신경망을 학습하는 것이다. ONN 주 신경망을 DNN 보조신경망을 이용해 물리적 오차를 학습하고, 그 오차를 주 신경망의 예측에 반영하는 방식으로 오차를 줄인다는 것이다.

  • 논문리뷰: I2M2 프레임워크

    1. 모달 MODAL 이란 무엇인가?

    MODAL은 정보의 표현 방법이라고 할 수 있다. 예를들어 텍스트, 음성, 이미지 각각이 하나의 MODAL이 될 수 있다.

    2. I2M2프레임 워크의 주요 개념

    MULTIMODAL(= 여러개 모달, 예를들어 텍스트+음성,텍스트+ 이미지 등)에 대한 예측모델을 이야기한다.

    기존의 모델에서는 이 여러개 모달의 결합에 대한 학습만을 사용한다.

    I2M2에서는 여러개 모달의 결합 뿐만이 아니라 각각의 모달에서도 내재적인 의미를 갖는다 보고, 각각의 모달에 대한 학습또한 고려한다.

    결국 각각의 모달에 대한 분류기와 다중 모달에 대한 분류기를 통합하여 최종 예측을 하는 프레임 워크라고 볼 수 있다.

    기존과 달리 Modal각각에 대한 예측모델과 Modal들을 결합한 예측모델을 각각 학습시키고, 최종적으로 이 각각 학습된 모델의 예측값을 모두 활용하여 예측값을 계산하는 것이다.

    이 값에 p(y)를 곱한 후 정규화 시켜 최종 예측값을 계산한다.

    여기서 x는 modal 1,x’은 modal2로 볼 수 있고 따라서 각각의 분류기의 예측값을 곱한값에 비례한 값이 최종 예측값으로 결정된다고 볼 수 있다.

    3. 수학적 안정성

    i2m2모델에서 결과에 크게 관여하는 분류기는 정규화 과정에서 최종 예측값에 크게 기여하게되며 결과에 영향을 미치지 않는 분류기는 정규화 과정에서 소거되어 최종예측값에 기여하지 않게 된다. 따라서 자연스럽게 영향력이 높은 분류기가 최종예측값에 크게 기여하게 된다.

    4. 실제 효용성

    i2m2모델은 각각의 모달만을 이용한 분류기 또는 결합한 모달에 대한 분류기와의 비교하였을때 더 높은 AUROC을 보였다.

  • 논문리뷰: I2M2 프레임워크

    1. 모달 MODAL 이란 무엇인가?

    MODAL은 정보의 표현 방법이라고 할 수 있다. 예를들어 텍스트, 음성, 이미지 각각이 하나의 MODAL이 될 수 있다.

    2. I2M2프레임 워크의 주요 개념

    MULTIMODAL(= 여러개 모달, 예를들어 텍스트+음성,텍스트+ 이미지 등)에 대한 예측모델을 이야기한다.

    기존의 모델에서는 이 여러개 모달의 결합에 대한 학습만을 사용한다.

    I2M2에서는 여러개 모달의 결합 뿐만이 아니라 각각의 모달에서도 내재적인 의미를 갖는다 보고, 각각의 모달에 대한 학습또한 고려한다.

    결국 각각의 모달에 대한 분류기와 다중 모달에 대한 분류기를 통합하여 최종 예측을 하는 프레임 워크라고 볼 수 있다.

    기존과 달리 Modal각각에 대한 예측모델과 Modal들을 결합한 예측모델을 각각 학습시키고, 최종적으로 이 각각 학습된 모델의 예측값을 모두 활용하여 예측값을 계산하는 것이다.

    이 값에 p(y)를 곱한 후 정규화 시켜 최종 예측값을 계산한다.

    여기서 x는 modal 1,x’은 modal2로 볼 수 있고 따라서 각각의 분류기의 예측값을 곱한값에 비례한 값이 최종 예측값으로 결정된다고 볼 수 있다.

    3. 수학적 안정성

    i2m2모델에서 결과에 크게 관여하는 분류기는 정규화 과정에서 최종 예측값에 크게 기여하게되며 결과에 영향을 미치지 않는 분류기는 정규화 과정에서 소거되어 최종예측값에 기여하지 않게 된다. 따라서 자연스럽게 영향력이 높은 분류기가 최종예측값에 크게 기여하게 된다.

    4. 실제 효용성

    i2m2모델은 각각의 모달만을 이용한 분류기 또는 결합한 모달에 대한 분류기와의 비교하였을때 더 높은 AUROC을 보였다.