엣지 AI 배포 마스터 가이드 1편: 모델 경량화와 온디바이스 추론

왜 지금 엣지 AI인가

클라우드 AI는 강력하지만 한계가 뚜렷합니다. 네트워크 지연이 100ms를 넘는 환경에서 실시간 의사결정이 필요한 자율주행, 산업 로봇, 스마트 카메라는 클라우드 왕복을 기다릴 여유가 없습니다. 엣지 AI는 디바이스 자체에서 추론을 실행해 이 문제를 해결합니다.

클라우드 vs 엣지: 의사결정 기준

엣지를 선택해야 하는 상황:

• 지연 SLA < 50ms
• 오프라인 동작 필수
• GDPR/HIPAA 규제 적용
• 대량 데이터 → 클라우드 업로드 비용 과다

엣지 디바이스 유형과 선택

MCU (Microcontroller Unit)

• 대표: STM32, Arduino Nano 33 BLE
• RAM: 256KB~1MB, 적합: TinyML (< 100KB 모델)
• 용도: 키워드 감지, 이상 진동 탐지

엣지 GPU / NPU

• 대표: NVIDIA Jetson Orin, Google Coral
• TOPS: 10~275, 적합: MobileNet, EfficientDet
• 용도: 객체 인식, 얼굴 인증

산업용 엣지 서버

• 대표: Intel Core Ultra + OpenVINO
• 용도: 공장 비전 검사, 예측 유지보수

주요 배포 프레임워크 비교

TensorFlow Lite

tflite_convert \
  --saved_model_dir=./model \
  --output_file=model.tflite \
  --optimizations=DEFAULT

• 장점: 생태계 최대, Android/iOS 완벽 지원
• 단점: TF 모델 전용

ONNX Runtime

import onnxruntime as ort
sess = ort.InferenceSession("model.onnx")
outputs = sess.run(None, {"input": input_data})

• 장점: 프레임워크 중립 (PyTorch/TF/sklearn 모두)
• 단점: 모바일 최적화는 TFLite보다 약함

OpenVINO (Intel)

mo --input_model model.onnx --output_dir ./ir_model

• 장점: Intel CPU/GPU/VPU 하드웨어 가속 극대화

배포 전 체크리스트

1. 전력 예산: 추론 1회당 < 100mW
2. 메모리 피크: 런타임 최대 RAM이 디바이스 한계의 70% 이하
3. 열 관리: 연속 추론 시 80°C 미만
4. 모델 버전 관리: OTA 업데이트 채널 설계
5. 폴백 전략: 추론 실패 시 규칙 기반 대안 준비

2편에서는 양자화·프루닝으로 모델 크기를 75% 줄이면서 정확도 손실을 1% 미만으로 유지하는 실전 방법을 다룹니다.

모델을 작게 만드는 3가지 레버 (미리보기)

2편에서 깊게 다루지만, 엣지 배포의 성패는 모델 경량화에 달려 있어 핵심만 짚습니다.

대부분 INT8 양자화만으로도 정확도 1% 미만 손실로 4배 작아집니다.

엣지에서도 보안은 필수

디바이스가 물리적으로 노출되므로 모델 자체가 탈취 대상입니다.

• 모델 파일 암호화 및 보안 부트(Secure Boot)
• 추론 입력 검증(적대적 예제 방어)
• OTA 업데이트 채널의 서명 검증(위조 펌웨어 차단)

엣지 MLOps — 배포가 끝이 아니다

수천 대 디바이스에 흩어진 모델은 버전 드리프트가 생깁니다. 중앙에서 모델 버전·정확도·드리프트를 모니터링하고, 단계적 롤아웃(canary)과 자동 롤백 채널을 갖춰야 운영이 지속 가능합니다.

자주 묻는 질문 (FAQ)

Q. 엣지와 클라우드 중 하나만 골라야 하나요? 아니요. 실무에선 하이브리드가 많습니다 — 엣지에서 1차 추론(저지연), 애매한 케이스만 클라우드로 보내 정밀 분석하는 캐스케이드 구조가 비용·정확도 균형에 좋습니다.

Q. 어떤 디바이스부터 시작하면 되나요? PoC는 Jetson이나 Coral 같은 개발 친화 보드로 시작해 추론 성능·전력을 측정한 뒤, 양산 단계에서 단가·수급을 고려해 결정하는 것이 안전합니다.