AI 개발 도구 고르는 법: 데이터·모델·실험·온디바이스 보안까지

AI 프로젝트를 시작할 때 가장 먼저 검색하는 것은 “쓸 만한 AI 사이트”다. 그러나 링크를 많이 모아도 데이터에 개인정보가 있는지, 모델을 모바일에서 돌려야 하는지, 실험을 어떻게 비교할지 정하지 않으면 도구만 늘어난다. 필요한 것은 사이트 목록이 아니라 문제를 데이터·모델·검증·배포 단계로 나누고 각 단계에 맞는 도구를 고르는 기준이다.

이 글의 실전 과제

스마트폰 카메라로 손동작을 인식해 개인 운동 횟수를 세는 앱을 만든다고 가정한다. 영상은 민감할 수 있으므로 서버 전송을 최소화하고, 실제 휴대폰에서 지연시간과 배터리 사용량까지 확인해야 한다.

목차

1. 도구보다 먼저 정할 다섯 가지
2. AI 개발 단계를 도구에 연결하는 법
3. 클라우드 AI와 온디바이스 AI 선택 기준
4. AURA 사례에서 읽을 수 있는 구조
5. 도구를 채택하기 전 검증 체크리스트

1. “유명한가?”보다 해결할 문제가 먼저다

같은 이미지 AI라도 목표가 데이터 라벨링인지, 이미 학습된 모델 탐색인지, 휴대폰 배포인지에 따라 필요한 도구가 달라진다. 아래 다섯 질문에 답하지 못했다면 아직 도구를 고를 단계가 아니다.

1. 입력: 텍스트·이미지·영상·음성 중 무엇을 다루는가?
2. 출력: 분류·검출·생성·요약 중 무엇을 얻어야 하는가?
3. 데이터 경계: 서버로 보낼 수 없는 개인정보나 기밀이 있는가?
4. 운영 조건: 오프라인 동작, 응답시간, 기기 성능 제한이 있는가?
5. 합격 기준: 정확도·지연시간·비용·배터리를 어떤 값으로 비교할 것인가?

도구 선택 문장 예시

“손 랜드마크를 100ms 안에 찾고, 원본 영상은 기기 밖으로 보내지 않으며, 중급형 안드로이드 기기에서도 10분 연속 실행한다.” 이 정도로 써야 후보를 줄일 수 있다.

2. AI 개발 흐름에 맞춰 도구를 배치한다

데이터 확인모델 탐색실험 기록배포 검증

단계	대표 도구	실제로 확인할 것
데이터 수집·라벨링	Roboflow, Kaggle	라이선스, 개인정보, 라벨 기준, 학습·검증 데이터 분리
모델·데이터셋 탐색	Hugging Face Hub	모델 카드, 데이터셋 카드, 지원 언어, 평가 결과, 라이선스
영상 전처리	Albumentations, OpenCV	증강이 실제 촬영 환경을 반영하는지, 라벨이 함께 변환되는지
실험 추적	Weights & Biases 등	데이터 버전, 파라미터, 지표, 모델 파일을 같은 실행으로 묶는지
구조 설명	Draw.io	데이터가 어디서 저장·전송·삭제되는지 표시하는지
기기 내 추론	MediaPipe, LiteRT 계열	지원 플랫폼, 모델 크기, 실제 기기 지연시간, 메모리와 발열

728x90

Hugging Face Hub는 모델·데이터셋·데모를 저장하는 플랫폼이며 모델 카드와 데이터셋 카드로 한계, 라이선스, 평가 정보를 확인할 수 있다. “다운로드가 많다”만 보지 말고 카드가 비어 있거나 학습 데이터 출처가 불분명한 모델은 후보에서 제외한다.

도구를 늘리기 전에 최소 파이프라인부터 만든다

문제 정의
  → 작은 표본 50개로 입력 품질 확인
  → 기준 모델 1개 실행
  → 정확도 + 지연시간 기록
  → 실패 사례 10개 분류
  → 개선 효과가 확인될 때만 새 도구 추가

새 도구를 추가할 때는 “무엇이 좋아졌는가?”를 한 줄로 기록한다. 실험 시간이 줄었는지, 재현성이 높아졌는지, 개인정보 전송이 줄었는지 측정할 수 없다면 도구가 아니라 관리 비용만 추가됐을 수 있다.

3. 클라우드와 온디바이스는 정확도만으로 고르지 않는다

클라우드 AI는 큰 모델과 중앙 관리가 쉽지만 네트워크, 전송 비용, 데이터 보존을 고려해야 한다. 온디바이스 AI는 입력을 기기 안에서 처리할 수 있지만 모델 크기, RAM, 발열, 업데이트 방식이 제약이 된다.

조건	클라우드가 유리한 경우	온디바이스가 유리한 경우
데이터	전송이 허용되고 중앙 분석이 필요	얼굴·음성·건강정보처럼 외부 전송을 줄여야 함
연결	안정적인 네트워크가 전제	오프라인이나 불안정한 현장에서 동작
지연시간	서버 왕복이 허용되는 업무	카메라 효과·제어처럼 즉각 반응해야 함
모델 규모	큰 모델과 GPU를 중앙에서 운영	경량·양자화 모델로 요구 성능 충족
업데이트	서버 모델을 한 번에 교체	앱 배포·모델 다운로드·기기 호환을 관리

“온디바이스”라는 이름만으로 개인정보 보호가 완성되지는 않는다.

분석 결과를 광고 SDK나 로그 서버로 보내는지, 원본 사진이 캐시에 남는지, 오류 보고에 입력 데이터가 포함되는지까지 확인해야 한다.

4. AURA 사례는 ‘모델 하나’보다 데이터 경계를 보여 준다

기존 글에서 소개한 AURA는 공개 저장소 설명 기준으로 Flutter 앱 안에서 Gemma 계열 모델과 MediaPipe를 사용하고, 얼굴·손 이미지를 기기 밖으로 보내지 않는 구조를 목표로 한다. 관상 결과의 과학적 타당성을 말하는 사례가 아니라, 민감한 카메라 입력을 어디서 처리할지 보여 주는 설계 사례로 읽는 편이 유용하다.

MediaPipe Hand Landmarker는 손의 21개 좌표와 좌우 손 정보를 출력한다. 이런 구조에서는 원본 프레임을 곧바로 언어 모델에 넣기보다 필요한 랜드마크만 추출해 다음 단계로 넘길 수 있다. 데이터 양과 노출 범위를 함께 줄이는 방식이다.

운동 횟수 앱에 적용하면

1. 카메라 프레임에서 손 랜드마크를 기기 안에서 추출한다.
2. 관절 각도와 움직임 규칙으로 동작을 판정한다.
3. 필요할 때만 요약된 횟수와 오류 코드만 저장한다.
4. 원본 프레임 저장 여부를 사용자에게 명확히 알린다.

5. 채택 전에는 작은 실제 기기 실험을 한다

• 공식 문서와 저장소의 최근 업데이트 날짜를 확인한다.
• 라이선스가 상업 이용·배포 방식과 맞는지 확인한다.
• 대표 기기 최소 2종에서 지연시간·RAM·발열을 측정한다.
• 정상 사례뿐 아니라 어두운 조명, 가림, 흔들림을 넣는다.
• 네트워크를 끊고 핵심 기능이 실제로 동작하는지 확인한다.
• 로그·분석 SDK·백업이 입력 데이터를 전송하지 않는지 점검한다.
• 도구를 제거했을 때 데이터와 모델을 옮길 수 있는지 확인한다.

핵심 요약

• 사이트 목록보다 입력·출력·데이터 경계·운영 조건·합격 기준을 먼저 정한다.
• 데이터, 모델, 실험, 배포 단계마다 도구 하나와 검증 지표를 연결한다.
• 온디바이스 AI는 개인정보와 지연시간에 유리하지만 기기 제약을 실제로 측정해야 한다.
• 모델 카드, 데이터셋 카드, 라이선스, 실패 사례가 없는 도구는 신중하게 채택한다.

참고한 공식 자료

• Hugging Face Hub 문서
• Hugging Face 모델 저장소와 모델 카드
• Hugging Face 데이터셋 문서
• Google AI Edge: Hand Landmarker
• AURA 공개 저장소

확인 기준일: 2026년 7월 28일. 서비스 요금과 지원 모델은 바뀔 수 있으므로 채택 전에 공식 문서를 다시 확인한다.