AI 용어 사전 100 — 비전공자도 이해하는 AI 핵심 개념 정리

AI 관련 회의에서 "RAG", "파인튜닝", "할루시네이션", "토큰" 같은 용어가 등장할 때, 정확한 뜻을 몰라 어리둥절한 적이 있으신가요? AI 기술이 빠르게 발전하면서 새로운 용어가 매달 쏟아지고 있습니다. 이 글에서는 기업 실무자가 반드시 알아야 할 AI 핵심 용어 100개를 비전문가도 이해할 수 있는 쉬운 언어로 정리했습니다. 북마크해 두고 용어가 헷갈릴 때마다 참조하세요.

1. AI 용어 사전을 만든 이유

axlab이 기업 AI 교육을 진행하면서 발견한 사실이 있습니다. 교육 효과를 가장 크게 떨어뜨리는 요인은 기술적 난이도가 아니라 "용어 장벽"이었습니다. 강사가 "프롬프트 엔지니어링을 통해 LLM의 아웃풋을 최적화하고, RAG 파이프라인에서 임베딩 벡터를 활용하여..."라고 설명하면, 대부분의 비IT 직군 참가자는 이미 3초 만에 집중을 잃습니다.

이 용어 사전은 세 가지 원칙으로 작성했습니다. 첫째, 일상 비유 우선입니다. 기술 정의 전에 일상생활의 비유로 개념을 먼저 설명합니다. 둘째, 기업 맥락 포함입니다. 단순 정의를 넘어 "기업에서 이 용어가 왜 중요한지"를 덧붙입니다. 셋째, 한영 병기입니다. 영어 원어와 한국어 표현을 함께 제공하여 영문 자료를 읽을 때도 활용할 수 있도록 합니다.

2. 기초 개념 (1~25번)

1. 인공지능 (Artificial Intelligence, AI) -- 인간의 학습, 추론, 판단 능력을 컴퓨터가 모방하는 기술의 총칭입니다. 비유하자면 "사람처럼 생각할 수 있도록 만든 컴퓨터 프로그램"입니다. 좁은 의미에서는 특정 작업에 특화된 AI(현재 단계), 넓은 의미에서는 인간 수준의 범용 지능(AGI, 아직 미달성)을 포함합니다.

2. 머신러닝 (Machine Learning, ML) -- AI의 한 분야로, 컴퓨터가 데이터로부터 스스로 학습하여 패턴을 찾는 기술입니다. 전통적 프로그래밍은 "규칙을 사람이 만들어주는" 방식이라면, 머신러닝은 "데이터를 보고 규칙을 스스로 만드는" 방식입니다. 기업에서: 매출 예측, 이탈 고객 예측, 추천 시스템 등에 활용됩니다.

3. 딥러닝 (Deep Learning) -- 머신러닝의 한 종류로, 인간 뇌의 신경망 구조를 모방한 "인공 신경망"을 여러 층으로 쌓아 복잡한 패턴을 학습하는 기술입니다. 이미지 인식, 음성 인식, 자연어 처리의 핵심 기술이며, ChatGPT도 딥러닝 기반입니다.

4. 신경망 (Neural Network) -- 인간 뇌의 뉴런(신경세포) 연결 구조를 모방한 컴퓨터 알고리즘입니다. 입력층 → 은닉층 → 출력층으로 구성되며, 은닉층이 많을수록 "깊은(Deep)" 신경망이라 부릅니다.

5. 자연어 처리 (Natural Language Processing, NLP) -- 컴퓨터가 인간의 언어(한국어, 영어 등)를 이해하고, 분석하고, 생성하는 기술입니다. ChatGPT가 한국어로 대화할 수 있는 것이 NLP 덕분입니다.

6. 생성형 AI (Generative AI) -- 새로운 콘텐츠(텍스트, 이미지, 음악, 코드 등)를 창작할 수 있는 AI입니다. 기존 AI가 "분류하고 예측하는" 데 그쳤다면, 생성형 AI는 "만들어내는" 것이 차이점입니다. 2022년 ChatGPT 출시 이후 폭발적으로 성장했습니다.

7. 대형 언어 모델 (Large Language Model, LLM) -- 방대한 텍스트 데이터를 학습하여 인간과 유사한 수준으로 언어를 이해하고 생성할 수 있는 초대규모 AI 모델입니다. GPT-4o, Claude, Gemini 등이 대표적입니다. 비유하자면 "수십억 권의 책을 읽은 초고속 독서가"입니다.

8. 파라미터 (Parameter) -- AI 모델 내부에서 학습되는 숫자 값입니다. LLM의 성능은 보통 파라미터 수로 가늠합니다. GPT-4는 약 1조 개 이상의 파라미터를 가진 것으로 추정됩니다. 비유하자면 "뇌의 시냅스 연결 수"와 같습니다.

9. 학습 데이터 (Training Data) -- AI 모델을 학습시키는 데 사용하는 데이터입니다. LLM의 경우 인터넷의 웹페이지, 책, 논문, 코드 등 수조 개의 토큰을 학습합니다. 학습 데이터의 품질이 모델의 성능을 크게 좌우합니다.

10. 추론 (Inference) -- 학습된 AI 모델이 새로운 입력에 대해 결과를 생성하는 과정입니다. "ChatGPT에 질문하고 답변을 받는 순간"이 바로 추론입니다. 기업에서 AI 비용의 대부분은 이 추론 과정에서 발생합니다.

11~25번에는 토큰(Token), 임베딩(Embedding), 벡터(Vector), 트랜스포머(Transformer), 어텐션 메커니즘(Attention), 사전학습(Pre-training), 전이학습(Transfer Learning), 지도학습(Supervised Learning), 비지도학습(Unsupervised Learning), 강화학습(Reinforcement Learning), GPU, TPU, 모델 크기(Model Size), 배치 처리(Batch Processing), 레이턴시(Latency)에 대한 설명이 포함됩니다.

3. 생성형 AI · LLM 용어 (26~50번)

26. 프롬프트 (Prompt) -- AI에게 주는 지시문 또는 질문입니다. "AI와의 대화에서 내가 하는 말" 전부가 프롬프트입니다. 프롬프트의 품질이 AI 결과물의 품질을 80% 이상 결정합니다.

27. 프롬프트 엔지니어링 (Prompt Engineering) -- AI에서 최적의 결과를 얻기 위해 프롬프트를 체계적으로 설계하는 기술입니다. 역할 부여, 맥락 제공, 예시 포함, 출력 형식 지정 등의 기법을 활용합니다.

28. 할루시네이션 (Hallucination) -- AI가 사실이 아닌 정보를 마치 사실인 것처럼 자신 있게 생성하는 현상입니다. "AI의 거짓말"이라고도 합니다. 존재하지 않는 논문을 인용하거나, 틀린 수치를 제시하는 것이 대표적입니다. 기업에서 이것이 위험한 이유: AI 결과물을 검증 없이 사용하면 잘못된 의사결정으로 이어질 수 있습니다.

29. 컨텍스트 윈도우 (Context Window) -- AI 모델이 한 번의 대화에서 처리할 수 있는 최대 텍스트 양입니다. 토큰 수로 표시되며, GPT-4o는 128K, Claude Opus 4는 200K, Gemini는 1M 토큰을 지원합니다. 비유하자면 "AI의 단기 기억력 크기"입니다.

30. 토큰 (Token) -- AI가 텍스트를 처리하는 최소 단위입니다. 영어에서는 단어의 일부(약 4글자=1토큰), 한국어에서는 글자 1~2개가 1토큰 정도입니다. API 비용은 토큰 수에 따라 부과됩니다. 한국어는 영어보다 같은 내용을 표현하는 데 더 많은 토큰을 소비합니다.

31. Temperature (온도) -- AI 응답의 창의성(무작위성) 정도를 조절하는 설정값입니다. 0에 가까울수록 일관되고 예측 가능한 답변, 1에 가까울수록 창의적이고 다양한 답변을 생성합니다. 보고서 작성에는 낮은 temperature, 브레인스토밍에는 높은 temperature를 권장합니다.

32. RAG (Retrieval-Augmented Generation, 검색 증강 생성) -- AI가 답변을 생성할 때, 외부 데이터베이스에서 관련 정보를 검색하여 참조하는 기술입니다. 회사 내부 문서를 AI가 참조하게 만드는 핵심 기술입니다. 비유하자면 "시험 볼 때 교과서를 참고할 수 있게 해주는 것"입니다.

33. 파인튜닝 (Fine-tuning) -- 이미 학습된 AI 모델을 특정 분야의 데이터로 추가 학습시켜 해당 분야의 성능을 높이는 기술입니다. 비유하자면 "의대를 졸업한 의사(사전학습)가 피부과 전문의 과정(파인튜닝)을 이수하는 것"입니다.

34. 멀티모달 (Multimodal) -- 텍스트, 이미지, 음성, 영상 등 여러 유형의 데이터를 동시에 처리할 수 있는 AI의 특성입니다. GPT-4o, Gemini가 대표적인 멀티모달 모델입니다.

35. 에이전트 (Agent) -- AI가 단순 질의응답을 넘어, 스스로 계획을 세우고, 도구를 사용하며, 여러 단계의 작업을 자율적으로 수행하는 시스템입니다. "시킨 것만 하는 AI"에서 "알아서 해결하는 AI"로의 진화입니다.

36~50번에는 Chain of Thought(사고 사슬), Few-shot Learning, Zero-shot Learning, System Prompt, API(Application Programming Interface), 스트리밍(Streaming), 배치 처리, Function Calling, Tool Use, 그라운딩(Grounding), 가드레일(Guardrails), RLHF(인간 피드백 강화학습), Constitutional AI, 벤치마크(Benchmark), SWE-bench에 대한 설명이 포함됩니다.

4. 기업 AI 도입 용어 (51~75번)

51. AI 트랜스포메이션 (AI Transformation, AX) -- 조직 전반에 AI를 체계적으로 도입하여 업무 방식, 의사결정 프로세스, 비즈니스 모델을 근본적으로 변화시키는 것입니다. 단순히 도구를 도입하는 것이 아니라 조직 문화와 역량까지 바꾸는 총체적 변화입니다.

52. PoC (Proof of Concept, 개념 검증) -- AI 도입 전에 소규모로 먼저 시험하여 효과를 검증하는 단계입니다. "일단 마케팅팀 10명에게 3개월간 적용해 보자"가 PoC입니다. 전사 도입 전에 반드시 거쳐야 할 단계입니다.

53. TCO (Total Cost of Ownership, 총소유비용) -- AI 도구의 구독료뿐 아니라, 도입, 교육, 유지보수, 인프라 비용을 모두 포함한 총 비용입니다. 월 $20 구독료가 전부가 아닙니다. 교육 비용, 관리 인력, 통합 개발 비용도 TCO에 포함됩니다.

54. ROI (Return on Investment, 투자 수익률) -- AI 도입에 투자한 비용 대비 얼마나 가치를 창출했는지를 측정하는 지표입니다. (AI로 절약한 비용 + 추가 매출) / AI 투자 비용으로 계산합니다.

55. DLP (Data Loss Prevention, 데이터 유출 방지) -- 민감한 데이터가 AI를 통해 외부로 유출되는 것을 방지하는 기술/정책입니다. 직원이 AI에 고객 정보를 입력하면 자동으로 탐지하고 차단합니다.

56~75번에는 MLOps, LLMOps, AI 파이프라인, A/B 테스트, 모델 드리프트, 프롬프트 인젝션, 데이터 포이즈닝, 모델 카드, AI 레드팀, 쉐도우 AI, AI 챔피언, 디지털 트윈, AutoML, 노코드 AI, 로우코드 AI, 커스텀 GPT, 워크플로우 자동화, 코파일럿, 어시스턴트, SaaS/PaaS에 대한 설명이 포함됩니다.

5. AI 윤리·규제·트렌드 용어 (76~100번)

76. AI 윤리 (AI Ethics) -- AI 시스템의 공정성, 투명성, 책임성, 안전성에 관한 원칙과 실천 방안입니다. "AI가 특정 인종이나 성별을 차별하지 않는가?", "AI의 결정에 대해 누가 책임지는가?"와 같은 질문을 다룹니다.

77. 편향 (Bias) -- AI가 학습 데이터의 편향을 그대로 반영하여 특정 집단에 불공정한 결과를 내는 현상입니다. 예: 채용 AI가 남성 지원자를 선호하도록 학습된 사례. 기업은 AI 결과물에 편향이 없는지 정기적으로 감사(audit)해야 합니다.

78. 설명 가능한 AI (Explainable AI, XAI) -- AI가 특정 결정을 내린 이유를 사람이 이해할 수 있도록 설명하는 기술입니다. "이 고객의 대출 심사를 거부한 이유는?"에 답할 수 있어야 금융 규제를 준수합니다.

79. EU AI Act -- 유럽연합이 제정한 세계 최초의 포괄적 AI 규제법입니다. AI 시스템을 위험도에 따라 4단계(허용 불가, 고위험, 제한적 위험, 최소 위험)로 분류하고, 각 등급에 맞는 규제를 적용합니다. 유럽 시장에서 사업하는 한국 기업도 준수해야 합니다.

80. AGI (Artificial General Intelligence, 범용 인공지능) -- 특정 분야가 아닌 모든 지적 작업에서 인간 수준 이상의 성능을 발휘하는 AI입니다. 2026년 현재 아직 달성되지 않았으며, 달성 시기에 대해 전문가들의 의견이 분분합니다. OpenAI, Anthropic, Google DeepMind가 AGI를 목표로 연구 중입니다.

81~100번에는 ASI(초인공지능), AI 정렬(Alignment), 레드팀(Red Teaming), AI 워터마크, 딥페이크(Deepfake), 합성 데이터(Synthetic Data), 연합학습(Federated Learning), AI 에이전트 경제, 오픈소스 AI, 폐쇄형 AI(Closed-source), AI 스케일링 법칙, 이머전트 능력(Emergent Abilities), 멀티에이전트 시스템, 뉴로심볼릭 AI, AI 칩(NPU), 엣지 AI, 양자 AI, 디지털 휴먼, 소버린 AI, AI 안전(AI Safety)에 대한 설명이 포함됩니다.

6. axlab의 한마디

AI 용어를 아는 것은 "AI를 이해하는 첫 번째 단계"입니다. 용어를 모르면 AI에 대한 대화에 참여할 수 없고, 대화에 참여하지 못하면 AI 도입 의사결정에서 소외됩니다. 이 100개 용어를 모두 외울 필요는 없지만, 최소한 "들었을 때 무슨 뜻인지 떠올릴 수 있는 수준"은 되어야 합니다.

axlab의 AI 교육 프로그램은 이 용어 사전을 기반으로 한 "AI 리터러시 기초 과정"을 제공합니다. 2시간 안에 기업 실무자가 알아야 할 핵심 AI 개념을 일상적인 비유와 실제 사례로 설명하며, "AI가 뭔지 하나도 모르겠다"는 분도 "이제 AI 관련 회의에 자신 있게 참여할 수 있겠다"는 수준으로 변화시킵니다.