이기종 Jetson 플랫폼 기반 경량 LLM 성능 분석 연구

초록

최근 엣지 디바이스(Edge Device) 환경에서 경량화된 거대 언어 모델(Lightweight Large Language Model)을 배포하고 효율적으로 추론 및 학습을수행할 수 있게 하는 다양한 연구들이 활발히 제시되고 있다. 본 논문에서는 이기종(Heterogeneous) NVIDIA Jetson 플랫폼 및 다양한 경량 LLM을기반으로 하여 모델 추론 및 학습 성능을 측정하였고 정량적인 분석을 제시하였다. 본 연구의 결과는 IoT 환경에서 생성형 인공지능 서비스를 제공하는엣지 지능형 프레임워크 설계를 위한 기초 자료로써 활용될 수 있다.

발행기관
한국통신학회 2025
최다은
최다은
Backend Developer

전북대학교 IT정보공학과 재학 중인 백엔드 개발자입니다.

최다은
최다은
Backend Developer

전북대학교 IT정보공학과 재학 중인 백엔드 개발자입니다.