6.0 6부 소개: 인공지능

인공지능은 연구의 신기한 대상에서, 대규모 조직이 이제 책임 있게 그리고 규모에 맞게 배치하리라 기대되는 핵심 역량이 되었습니다. 이 부는 전체 수명 주기를 훑습니다. AI를 적용할 가치가 있는 곳을 결정하기, 프로덕션과의 접촉을 견디는 머신러닝 시스템을 엔지니어링하기, 생성형 모델 위에 애플리케이션을 만들기, 소프트웨어 개발 자체에 AI를 쓰기, 공정성과 책무에 대한 의무를 충족하기, 이 모든 것이 필요로 하는 특화된 인프라를 운영하기입니다. 하나의 생각이 모든 장을 묶습니다. 모델은 좀처럼 어려운 부분이 아닙니다. 어려운 부분은 그것을 둘러싼 엔지니어링, 거버넌스, 운영 규율입니다.

큰 팀에게는 규모와 관성이 판돈을 올립니다. 잘못 구성된 이니셔티브는 예산을 태우고, 숙련된 엔지니어의 주의를 흩뜨리며, 공개적으로 실패할 때 신뢰를 갉아먹을 수 있습니다. 잘 고른 이니셔티브는 허드렛일을 자동화하고, 예전에는 닿을 수 없던 데이터에서 통찰을 드러낼 수 있습니다. 수백 명의 개발자와 수십 개의 모델에 걸쳐, 작은 습관과 감독의 작은 틈이 쌓여 조직의 결과가 됩니다. 공유 플랫폼, 기본값, 규범이 어떤 영리한 단일 해법보다 중요한 이유가 이것입니다.

기업과 정부 맥락은 더 날카로운 제약을 더하며, 이는 모든 장을 관통합니다. 공공 기관은 지출을 정당화하고, 투명성을 보장하고, 위법한 차별을 피하고, 규제 기관과 대중에게 책임을 져야 합니다. 조달 규칙은 단일 공급자 종속을 금지하고 설명 가능성과 퇴출 옵션을 요구할 수 있습니다. EU AI 법(유럽연합의 위험 등급별 AI 시스템 규제) 같은 새로운 법과 NIST AI 위험 관리 프레임워크, 인증 가능한 AI 경영 시스템 표준인 ISO/IEC 42001 같은 표준이 위험에 따라 등급이 매겨진 요건을 부과합니다. 이런 환경에서 컴플라이언스, 감사 가능성, 재현성, 데이터 주권은 사후 고려가 아니라 일급 요건입니다.

이 부의 장

• 6.1 AI 전략과 준비도: AI를 어디에 적용하고, 어디서 피하고, 첫 모델이 프로덕션에 닿기 전에 어떤 데이터, 인재, 거버넌스 기반이 있어야 하는지 결정하는 규율.
• 6.2 머신러닝 엔지니어링 (MLOps): 코드, 데이터, 모델이라는 세 부분의 현실에 소프트웨어의 엄밀함을 가져와, ML 시스템이 일회성 시연이 아니라 재현 가능하고, 관찰 가능하고, 유지보수 가능하게 하는 것.
• 6.3 생성형 AI와 LLM 애플리케이션: 컨텍스트 관리, 검색 증강 근거 제시, 가드레일(모델 입력과 출력을 제약하는 런타임 검사), 엄격한 평가를 통해 확률적 언어 모델 둘레에 믿을 만한 애플리케이션을 엔지니어링하는 것.
• 6.4 AI 지원 소프트웨어 개발: 분명한 규범, 좋은 기본값, 강한 검증, 보안과 라이선스에 대한 주의를 통해 품질을 낮추지 않고 AI 코딩 보조 도구로 처리량을 높이는 것.
• 6.5 책임 있고 신뢰할 수 있는 AI: 공정하고, 투명하고, 책임을 지고, 안전하고, 프라이버시를 존중하는 시스템을 만들고, 이 모든 것을 영향받는 사람들과 규제 기관에 입증할 수 있는 것.
• 6.6 AI 인프라와 운영: AI 워크로드가 요구하는 희소한 가속기, 벡터 스토리지(데이터를 유사도 검색용 숫자 벡터로 색인하는 시스템), 서빙 계층을 비용 효율적이고, 믿을 만하고, 관찰 가능하게 프로비저닝하고 운영하는 것.
• 6.7 AI 에이전트와 에이전트 시스템: 목표를 위해 도구, 메모리와 함께 루프 안에서 언어 모델을 써서 행동을 취하는 소프트웨어를 만들고, 제한된 자율성, 최소 권한 도구 접근, 사람 개입 승인, 프롬프트 인젝션에 대한 가드레일, 비결정적 행동의 엄격한 평가를 통해 안전하게 하는 것.
• 6.8 AI 평가와 테스트: 평가 주도 개발, 대표성 있는 평가 세트와 과업에 맞는 지표, 보정된 LLM 심사자와 사람 리뷰, 레드팀, 지속적 통합의 회귀 관문, 프로덕션의 품질과 드리프트 모니터링으로 AI를 신뢰할 수 있게 만드는 것.
• 6.9 프롬프트 엔지니어링과 컨텍스트 설계: 구조화된 프롬프트, 퓨샷과 사고 사슬 기법, 규율 있는 컨텍스트 예산과 검색, 구조화된 출력과 도구 호출, 코드처럼 버전 관리되고 리뷰되고 평가되는 프롬프트로 프롬프팅을 엔지니어링으로 다루는 것.

이 장들이 서로 맞물리는 방식

이 장들은 함께 의도에서 운영까지 이어지는 수명 주기를 이룹니다. 6.1장은 전략과 준비도를 정하여, 어떤 문제가 애초에 AI를 정당화하는지, 먼저 어떤 기반이 필요한지를 구성합니다. 6.2장은 고전적 머신러닝의 엔지니어링 뼈대를 공급하고, 6.3장은 행동이 학습 단계가 아니라 프롬프트와 검색된 컨텍스트로 빚어지는 생성형 모델의 구별되는 패턴을 다룹니다. 6.4장은 AI를 소프트웨어 개발의 기예 자체로 돌리고, 6.6장은 다른 모든 장이 의존하는 컴퓨트, 스토리지, 서빙 기반을 제공합니다. 6.5장은 의도적으로 마지막 말이 아니라 끊임없는 동반자입니다. 책임 있는 AI의 의무는 전략을 형성하고, 모델 선택을 제약하고, 배포를 관문 통제하고, 내내 인프라 결정에 정보를 줍니다.

관통선은 전략에서 MLOps, 생성형 AI, AI 지원 개발, 책임 있는 AI, 인프라로 이어지지만, 직선이 아니라 그물로 생각하십시오. MLOps와 인프라는 재현성, 비용, 서빙에 대한 관심사를 공유하므로 6.2장과 6.6장은 함께 읽는 것이 가장 좋습니다. 책임 있는 AI는 6.1장의 전략에 거슬러 이어지고 10.5장의 윤리와 공익에 대한 더 넓은 다룸으로 앞서 이어지며, 4.5장의 프라이버시와 데이터 보호 실천에 기댑니다. 이 가이드북의 더 넓은 엔지니어링 기초가 이 부 전체를 받칩니다. 8.1장의 지속적 전달, 9.2장의 관측 가능성과 모니터링, 2.4장의 테스트 전략, 2.5장의 코드 리뷰가 모두 AI를 잘하기 위한 전제 조건입니다. AI는 건전한 소프트웨어 엔지니어링을 대체하지 않습니다. 그것을 제대로 하는 일의 판돈을 올립니다.