배치 경사하강법의 학습률 조정 장치 및 방법

Publications

금융권 유일의 연구 조직으로 다양한 신기술 영역에서 하나금융그룹의 위상을 높이고
세계적 권위의 학회에서 대외 성과를 달성하고 있습니다.

본 발명은 기계학습에서 사용되는 배치 경사하강법의 학습률을 조정하는 기술에 관한 것으로서, 상세하게는 스케

줄링에 사용될 기본 학습률을 탐색하고 자동으로 학습률을 스케줄링할 수 있는 배치 경사하강법의 학습률 조정

장치 및 방법에 관한 것이다. 이를 위해, 본 발명에 따른 배치 경사하강법의 학습률 조정 장치는 훈련 집합으로

부터 생성된 복수의 배치(batch)마다 업데이트 전의 가중치(weight) 및 업데이트 후의 가중치를 기계학습 모델

(machine learning model)에 적용하여 가중치 업데이트 후에 손실(loss)이 얼마나 감소했는지 나타내는 손실감소

비율에 근거해 학습률(learning rate)을 변경하면서 기본 학습률을 선택하는 학습률 탐색부와, 상기 학습률 탐색

부에 의해 선택된 기본 학습률로 시작하여 모든 배치의 손실감소비율을 구해 각 세대(epoch)의 손실감소비율 평

균값을 계산하고 그 손실감소비율 평균값에 근거해 현재의 학습률을 변경하면서 기계학습 모델에 대한 학습을 수

행하는 학습률 스케줄링부를 포함한다.

2023.03.07

2023.11.30