고객 상담 기록을 AI에 붙여 넣고 “보고서로 만들어 줘”라고 요청하면 몇 초 만에 그럴듯한 문서가 나온다. 하지만 고객 이름이 그대로 들어갔는지, 숫자의 출처가 맞는지, 근거 없는 문장이 섞였는지 확인하지 않았다면 빠른 결과가 곧 좋은 결과는 아니다. 생성형 AI 활용능력의 핵심은 도구 이름과 단축키를 외우는 일이 아니라, 업무를 맡길 범위를 정하고 결과를 검증하는 데 있다.
가상의 온라인 쇼핑몰에서 지난달 고객 문의 20건과 환불 통계를 바탕으로 운영 개선 보고서를 만든다. 원문에는 이름·전화번호가 포함돼 있고, 환불률은 별도 통계표에서 확인해야 한다. AI가 초안을 만들더라도 최종 숫자와 판단은 사람이 책임진다.

1. 생성형 AI는 검색 결과가 아니라 다음 토큰을 예측한다
GPT는 Generative Pre-trained Transformer의 약자다. 대규모 텍스트에서 언어 패턴을 사전 학습하고, 입력 문맥을 바탕으로 다음에 올 토큰의 확률을 계산해 응답을 이어 간다. 토큰은 반드시 한 글자나 한 단어와 일치하지 않는 처리 단위다.
| 개념 | 뜻 | 업무에서 확인할 점 |
|---|---|---|
| 사전 학습 | 대규모 데이터에서 일반 언어 패턴을 먼저 학습 | 학습됐다는 사실이 최신성이나 사실성을 보장하지 않는다. |
| Transformer | 어텐션으로 문맥 속 토큰 관계를 계산하는 구조 | 긴 문맥도 중요한 조건이 묻힐 수 있어 결과 검사가 필요하다. |
| RLHF | 사람의 선호 피드백을 이용해 응답 행동을 조정하는 방법 | 사람에게 유용해 보이는 답과 사실인 답은 같은 개념이 아니다. |
| 멀티모달 | 텍스트·이미지·음성 등 여러 입력 형태를 처리 | 이미지를 읽을 수 있어도 작은 글자와 표 구조를 틀릴 수 있다. |
| 할루시네이션 | 근거가 없거나 틀린 내용을 그럴듯하게 생성 | 출처 링크를 요구하는 것만으로 방지되지 않아 원문 대조가 필요하다. |
전통적인 분류 모델은 정해진 범주를 예측하는 데 초점을 두고, 생성형 모델은 학습한 패턴을 바탕으로 새 텍스트·이미지·코드를 만든다. 둘은 경쟁 관계가 아니다. 문의 유형 분류는 분류 모델이 맡고, 분류된 문의의 답변 초안은 생성형 모델이 맡는 식으로 함께 사용할 수 있다.
모델은 “모른다”를 데이터베이스처럼 조회한 뒤 답하지 않는다. 환불률, 법률 조항, 제품 기능처럼 틀리면 문제가 되는 정보는 반드시 원문과 공식 문서에서 다시 확인한다.
2. 프롬프트는 마법 문장이 아니라 업무 요청서다
좋은 프롬프트에는 역할보다 먼저 목적과 자료가 있어야 한다. “너는 최고의 전문가야”만 길게 적어도 필요한 입력과 합격 기준이 없으면 결과가 흔들린다. 업무 요청서를 쓰듯 목표, 배경, 입력 범위, 제약, 출력 형식, 검증 기준을 지정한다.
아래 고객 문의를 보고 좋은 보고서를 만들어 줘.목표: 지난달 고객 문의에서 반복 문제 3개를 찾아 운영 개선안을 작성한다.
자료: 아래 익명화된 문의 20건과 환불 통계표만 사용한다.
제약:
- 자료에 없는 수치와 원인을 추정하지 않는다.
- 근거가 부족하면 "확인 필요"로 표시한다.
- 고객을 식별할 수 있는 표현은 출력하지 않는다.
형식:
1. 핵심 요약 5문장
2. 문제별 빈도·근거·개선안 표
3. 추가 확인할 데이터 3개
검증: 모든 수치 옆에 사용한 자료명과 행 번호를 적는다.
OpenAI의 공식 프롬프트 안내도 명확한 작업, 필요한 문맥, 원하는 어조와 형식을 구체적으로 주고 복잡한 작업은 작은 단계로 나누어 반복 개선하라고 설명한다. 첫 답을 정답으로 채택하기보다 초안 → 피드백 → 재검증 순서로 다루는 편이 안전하다.
프롬프트를 고칠 때 우선순위
- 결과로 무엇을 결정할지 한 문장으로 쓴다.
- 사용할 자료와 사용하면 안 되는 자료를 구분한다.
- 반드시 지킬 조건과 판단 기준을 적는다.
- 표·JSON·문단처럼 출력 구조를 지정한다.
- 예시 하나를 보여 주고 결과를 비교한다.
3. 입력하기 전에 공개 가능 범위를 먼저 정한다
AI 서비스의 데이터 설정은 회사의 보안 규정을 대신하지 않는다. 고객 이름, 전화번호, 계좌번호, 미공개 계약, API 키, 내부 소스 코드는 입력 전에 제거하거나 가상의 값으로 바꾼다. 업무상 꼭 필요한 정보만 남기는 최소 수집 원칙이 기본이다.
| 원본 | AI에 넣을 형태 | 이유 |
|---|---|---|
| 홍길동 / 010-1234-5678 | 고객 A / 연락처 삭제 | 직접 식별자를 제거한다. |
| 회사명·제품명·계약 금액 | 업종 A / 제품 X / 금액 구간 | 재식별 가능성과 영업 기밀 노출을 줄인다. |
| 실제 API 키 | YOUR_API_KEY | 비밀정보는 예시에서도 실제 값을 사용하지 않는다. |
| 전체 고객 DB | 목적에 필요한 열과 표본만 | 분석 목적과 무관한 데이터 전송을 막는다. |
이름을 고객 번호로 바꿔도 별도 표를 통해 다시 개인을 찾을 수 있다면 가명정보다. 다른 정보와 결합해 재식별될 가능성까지 검토한다.
4. 결과 검증은 내용·근거·위험을 분리해서 본다
“검토해 줘”라는 요청을 같은 모델에 한 번 더 보내는 것만으로는 충분하지 않다. 원문과 계산 근거를 사람이 직접 대조하고, 중요한 결정에는 담당자의 승인 기록을 남긴다.

- 범위: 지정한 자료 밖의 추정이 섞이지 않았는가?
- 사실: 인명·날짜·기능·법령·인용문이 원문과 같은가?
- 수치: 합계·비율·단위·기간을 직접 다시 계산했는가?
- 위험: 개인정보, 기밀, 편향, 차별, 저작권 문제가 없는가?
- 책임: 누가 최종 승인했고 어떤 부분을 수정했는가?
AI는 환불 문의 6건을 전체 문의 20건으로 나누어 환불 관련 문의 비율을 30%라고 계산했다. 하지만 별도 통계표의 실제 환불률은 주문 420건 중 환불 18건인 4.3%다. “문의 중 환불 주제 비율”과 “주문 환불률”은 분모가 다르다. 자연스러운 문장보다 지표 정의가 먼저다.
5. Temporary Chat은 보조 수단이지 기밀 입력 허가가 아니다
2026년 7월 28일 기준 OpenAI 안내에 따르면 개인용 ChatGPT는 설정에서 모델 개선 사용을 끌 수 있다. Temporary Chat은 기록에 보이지 않고 모델 개선에 사용되지 않지만, 안전 목적으로 사본을 최대 30일 보관할 수 있다. GPT의 외부 액션으로 제3자에게 전송된 데이터는 그 업체의 개인정보처리방침을 따른다.
ChatGPT Business·Enterprise와 API 입력·출력은 기본적으로 모델 학습에 사용되지 않는다고 안내돼 있다. 그렇더라도 조직의 계약, 보존 정책, 접근 권한, 허용 도구 목록을 확인해야 한다. “학습 안 함”과 “저장 안 함”, “외부 전송 안 함”은 서로 다른 조건이다.
서비스 설정은 위험을 줄이는 한 요소다. 입력 데이터의 성격과 조직 규정이 먼저이며, 민감정보를 넣은 뒤 설정으로 해결하려 해서는 안 된다.
6. 저작권·편향·보안은 출력 단계에서도 확인한다
| 위험 | 실수 예시 | 대응 |
|---|---|---|
| 저작권 | 특정 기사·책의 문장을 길게 재현해 게시 | 필요한 범위만 인용하고 출처를 표시하며 자신의 분석을 중심에 둔다. |
| 편향 | 과거 채용 기록을 근거로 특정 집단을 불리하게 평가 | 집단별 결과와 대체 기준을 점검하고 고위험 결정을 자동화하지 않는다. |
| 프롬프트 인젝션 | 외부 문서 속 “이전 지시를 무시하라”는 문장을 명령으로 처리 | 외부 자료를 명령과 분리하고 도구 권한·출력 형식·허용 작업을 제한한다. |
| 정보 무결성 | 출처 없는 숫자와 존재하지 않는 문헌을 보고서에 사용 | 원문 링크, 인용 위치, 계산식을 필수 항목으로 둔다. |
NIST의 생성형 AI 위험 프로필은 허위 생성, 개인정보, 정보 보안, 편향, 지식재산권 등을 함께 관리할 위험으로 제시한다. 한국저작권위원회도 생성형 AI 저작권 등록과 분쟁 예방, 학습과 공정이용에 관한 안내서를 공개하고 있다. 저작권 문제는 “AI가 만들었다”는 한 문장으로 사라지지 않는다.
7. 제품명이 바뀌어도 남는 시험 개념을 공부한다
기존 문제에는 GPT-3.5, 플러그인, 특정 이미지 모델, 단축키처럼 서비스 개편에 따라 바뀌는 항목이 많았다. 이런 문항은 시험 공고일의 공식 교재와 제품 문서를 다시 확인해야 한다. 반대로 아래 개념은 도구가 바뀌어도 실제 활용 판단에 남는다.
- 지도학습은 라벨이 있는 데이터로 입력과 정답의 관계를 학습한다.
- 과적합은 훈련 데이터 성능은 높지만 새로운 데이터 일반화가 약한 상태다.
- GPU는 대규모 행렬 연산을 병렬 처리해 모델 학습과 추론을 가속한다.
- 어텐션은 문맥에서 어떤 토큰 관계에 가중치를 둘지 계산한다.
- 좋은 프롬프트는 목적·문맥·제약·형식·검증 기준을 포함한다.
- AI 출력은 초안이며 사실성, 개인정보, 편향, 저작권을 사람이 검토한다.
8. 기출형 변형문제로 확인하기
아래 문항은 기존 문제의 핵심 개념을 최신 활용 흐름에 맞춰 다시 만든 연습문제다. 답을 고른 뒤 다른 선택지가 왜 틀렸는지 확인하자.
1. 생성형 AI의 할루시네이션을 줄이는 방법으로 가장 적절한 것은?
- 답변 길이를 무조건 늘린다.
- 공식 원문을 제공하고 인용 위치를 요구한 뒤 사람이 대조한다.
- 역할 문장을 세 번 반복한다.
- Temperature를 높인다.
정답과 해설
정답: ②. 근거 자료와 검증 절차를 함께 둬야 한다. 인용 요구도 자동 보증이 아니므로 실제 원문 대조가 필요하다.
2. 과적합에 대한 설명으로 옳은 것은?
- 훈련 데이터와 새 데이터 모두에서 성능이 낮다.
- 훈련 데이터에는 잘 맞지만 새 데이터에는 약하다.
- 데이터를 암호화하지 않은 상태다.
- 모델의 응답이 너무 짧은 상태다.
정답과 해설
정답: ②. 훈련 예시를 외운 듯한 모델은 새로운 입력으로 일반화하지 못할 수 있다.
3. 가장 좋은 업무 프롬프트 구성은?
- 역할만 강하게 지정한다.
- 목적·자료·제약·출력 형식·검증 기준을 제공한다.
- 문장을 최대한 길게 쓴다.
- 원하는 결과를 설명하지 않는다.
정답과 해설
정답: ②. 길이보다 업무 조건과 합격 기준이 명확해야 한다.
4. 고객 상담 기록을 AI에 입력하기 전 가장 먼저 할 일은?
- 표 색상을 바꾼다.
- 이름만 고객 번호로 바꾸면 무조건 안전하다고 본다.
- 업무 목적과 허용 도구를 확인하고 불필요한 개인정보를 제거한다.
- 모든 데이터를 한 번에 넣는다.
정답과 해설
정답: ③. 도구 설정보다 입력 가능 범위와 최소 필요 데이터 판단이 먼저다.
5. Temporary Chat에 관한 설명으로 가장 정확한 것은?
- 어떤 기밀도 입력해도 된다.
- 모델 개선에는 사용되지 않지만 보안 목적 사본이 최대 30일 보관될 수 있다.
- 외부 액션으로 보낸 데이터도 즉시 삭제된다.
- 조직의 보안 규정을 대체한다.
정답과 해설
정답: ②. 보존·학습·제3자 전송은 서로 다른 조건이다.
6. 환불 관련 문의 6건/전체 문의 20건과 실제 환불 18건/주문 420건을 같은 지표로 볼 수 없는 이유는?
- 백분율은 사용할 수 없어서
- 분모와 측정 대상이 다르기 때문에
- AI가 계산했기 때문에
- 문의 데이터가 텍스트이기 때문에
정답과 해설
정답: ②. 각각 30%와 약 4.3%지만 서로 다른 질문에 답하는 지표다.
7. 멀티모달 AI의 설명으로 옳은 것은?
- 텍스트만 처리한다.
- 항상 인터넷의 최신 사실을 반환한다.
- 텍스트·이미지·음성 등 여러 입력 형태를 처리할 수 있다.
- 개인정보 위험이 없다.
정답과 해설
정답: ③. 입력 종류가 늘어도 정확성과 개인정보 검증은 그대로 필요하다.
8. 프롬프트 인젝션 위험을 줄이는 방법은?
- 외부 문서를 모두 신뢰한다.
- 모델에 관리자 권한을 준다.
- 외부 자료와 명령을 분리하고 도구 권한을 최소화한다.
- 출력 검토를 생략한다.
정답과 해설
정답: ③. 신뢰할 수 없는 콘텐츠가 시스템 지시처럼 작동하지 않게 경계를 둬야 한다.
9. AI 생성 결과의 저작권 대응으로 가장 적절한 것은?
- AI가 만들었으므로 출처를 확인하지 않는다.
- 원문을 길게 재현하고 이름만 바꾼다.
- 유사 표현과 이용 조건을 확인하고 자신의 분석을 중심에 둔다.
- 모든 결과에 자동으로 독점권이 생긴다고 본다.
정답과 해설
정답: ③. 이용 목적과 표현의 실질적 유사성, 인용 범위, 출처를 함께 확인한다.
10. AI 보고서를 최종 승인할 주체는?
- 가장 최신 모델
- 응답을 생성한 서비스
- 업무 기준과 원자료를 확인한 담당자
- 프롬프트 템플릿
정답과 해설
정답: ③. AI는 초안을 만들 수 있지만 결과 사용에 대한 책임과 승인 절차는 사람과 조직에 남는다.
핵심 요약
- 생성형 AI는 확률적으로 토큰을 생성하므로 유창함과 사실성을 구분한다.
- 프롬프트에는 목적·자료·제약·형식·검증 기준을 적는다.
- 개인정보와 기밀정보는 입력 전에 제거하고 허용 도구를 확인한다.
- 사실·수치·출처·편향·저작권을 원문과 사람이 검증한다.
- 제품 기능과 단축키는 바뀌므로 공식 문서와 시험 공고일 기준으로 다시 확인한다.
참고한 공식 자료
- OpenAI: 좋은 프롬프트 작성 방법
- OpenAI: 데이터 제어 FAQ
- OpenAI: Temporary Chat FAQ
- NIST: AI Risk Management Framework와 생성형 AI 프로필
- 한국저작권위원회: 생성형 AI 저작권법상 공정이용 안내서
확인 기준일: 2026년 7월 28일. 제품 화면과 기능은 변경될 수 있으므로 실제 사용 전 공식 도움말을 다시 확인한다.
'실전 개발 노트 > 개발 가이드' 카테고리의 다른 글
| AI 시대 개발팀 운영법: DESIGN.md·테스트·알림을 하나의 검증 흐름으로 (0) | 2026.07.29 |
|---|---|
| Redis 토큰 버킷으로 API 레이트 리밋 설계하기: 429 응답부터 Lua 구현까지 (0) | 2026.07.29 |
| 머신러닝 입문 실습: Orange부터 모델 평가·앙상블·군집화까지 (0) | 2026.07.29 |
| AI 개발 도구 고르는 법: 데이터·모델·실험·온디바이스 보안까지 (0) | 2026.07.28 |
| Python OpenCV 이미지 처리 입문: 밝기·필터·이진화·외곽선까지 (0) | 2026.07.28 |