강2월드

1. 행사 개요

일시: 2024년 9월 24일
장소: 서울 송파구 롯데호텔
주최: AWS (Amazon Web Services)
주요 주제: 생성형 AI를 통한 비즈니스 혁신

2. 주요 발표 세션 요약

Session 1: 생성형 AI의 활용과 접근 방향

발표자: 강우주 (AWS 한국 Data & AI GTM팀 총괄) 발표
생성형 AI의 국내외 트렌드와 적용 사례를 소개하며, 기업들이 직면하는 공통적인 고민과 해결 방향을 논의.

주요 내용

• 생성형 AI 개요
• 국내외 주요 참고 사례
• 생성형 AI에 대한 기업 관점 니즈
• 생성형 AI 에 대한 접근방향

상세 내용

• 2023년은 POC 단계, 2024년은 Product 출시의 해
• 생성형 AI 의 활용 부문
  • 생산성 강화: 대화 이력 검색, 콘텐츠 로컬화, 글 요약, 코드 생성
    • ex) 하나의 상품에 어울리는 다양한 시즌별 배경 이미지 생성  

• 운영 개선: 문서 처리, 컨텐츠 정리, 합성 데이터 생성, 관련 지원, 이상 징후 감지
  • ex) AWS Korea 컨텐츠 숏폼 서비스: 1시간 영상을 숏폼으로 변환 $1

• 창의/창조: 웹페이지용 이미지 생성, 비디오 향상, 음악 생성, 영상 향상, 애니메이션 생성
  • ex) 디지털 휴먼 생성 모델 추론 비용 절감 사례( Klleon)

• 고객 경험 강화: 챗봇& 가상 비서, 상담원 지원, 콜센터 분석, 개인화
  • ex) 생성형 AI 기반 리뷰 요약 서비스

• 생성형 AI에 대한 기업 관점 니즈
  • 1. 사용 편의 + 보안: Foundation Model을 선택하고, 보안성을 확보하면서 사용 최적화
  • 2. 비용 효율성: 최적의 성능과 비용을 보장하기 위한 인프라 관리
  • 3. 더욱 빠른 가치 제공: 공통적인 비즈니스 작업을 위한 생성형 AI 서비스 시작

• 생성형 AI 에 대한 접근방향
  
  • [1] Foundation Model 학습과 추론을 위한 기반 인프라
  • [2] LLM 및 기타 FM을 사용하여 구축할 수 있는 도구
  • [3] LLM 및 기타 FM을 활용하는 애플리케이션

Session 2: Anthropic의 생성형 AI 기술과 비즈니스 혁신

발표자: Jason Kim (Anthropic Applied AI Lead) 발표
Anthropic의 최신 생성형 AI 기술과 이를 통해 이루어진 비즈니스 혁신 사례를 소개하며, 향후 발전 방향을 제시.

주요 내용

• Anthropic 의 모델 소개
• Anthropic AI의 개발 방향
• 고객 및 파트너 소개

상세 내용

• Anthropic 모델 연혁: 2024년 9월기준으로 5개의 모델 릴리즈가 있었음.

• 단기 로드맵
  • 기업이 성능을 맞춤화할 수 있도록 지원
  • 더 빠르고 비용 효율적인 결과 생성
  • 개발자에게 간소화되고 강화된 개발 도구 제공
  • 최신 첨단 모델에 대한 접근성 제공
• 고객사례
  • DoorDash 콜센터 도입: DoorDash는 Amazon Bedrock에서 Anthropic의 Claude AI 모델을 사용하여 2.5초 이내의 응답 시간을 달성
  • ThomsonReuters 에이전트 도입: 고객 지원 운영에 맞춤화된 Claude를 도입함으로써 내부 프로세스와 전체 고객 만족도 향상
  • Showpad 에이전트 도입: Bedrock에서 Claude3 모델을 사용하여 GenAI 응답이 개선되었고, 응답 시간이 30% 단축되었으며 운영 비용이 3분의 2로 감소

Session 3: Meta와 AWS의 협력을 통한 생성형 AI 기술 및 비즈니스 적용

발표자: Parkin Kent (Meta AI Business Development) 발표
Meta의 Llama 3.1을 포함한 최신 생성형 AI 모델 및 AWS와의 협력 사례를 설명하고, 이를 기반으로 한 비즈니스 적용 방향을 제시.

주요 내용

• Llama 3.1 모델 선택해야 하는 이유
  • 1. 오픈소스로서의 접근
  • 2. Llama 시스템
  • 3. 신뢰& 안정성 툴
• 성공 사례 

상세 내용

• 오픈소스 정책의 장점
  • 모델을 손쉽게 커스텀 할 수 있으며 데이터 보호를 할 수 있음.
  • 폐쇠형 생태계에 종속되지 않음.
  • 지속적인 발전에 대한 이점을 누릴 수 있음.
• Llama 시스템
  • Llama3.1은 Instrucion-tuned 버전과 같이 사전 학습된 버전이 존재
  • 8B부터 70B까지 다양한 크기의 매개변수를 지원.
  • 여러 나라의 언어를 지원
• 신뢰 & 안정성 툴
  • Llama Guard3 : 유해한 input 과 output을 감지할 수 있음.

Session 4: LG유플러스의 AI 활용 사례

발표자: 박기흥, 강수진 (LG유플러스), 강승욱 (AWS 솔루션즈 아키텍트) 발표
LG유플러스가 AI를 활용해 업무 생산성을 개선한 사례를 공유, 코드 리뷰, 문서 리뷰, SQL 최적화 등 AI의 실제적 활용 사례를 통해 사내 업무 효율성을 높인 경험을 소개.

주요 내용

• 사내 AI 도입 시 해결해야 했던 요구사항 
  • 개인정보는 사내망 내에 유지
  • 사후 Audit 이 가능
  • 최소 비용으로 운영
• ixi-Jihye: 사내에서 Gen AI를 보안 걱정 없이 사용할 수 있도록 만든 내부 서비스
  • 필수 URL만 Open
  • Transit Gateway를 이용하여 사내 시스템과 연동
  • Okta를 이용한 인증, 모든 request/response를 기록
  • Bedrock Guardrail 적용

• Bots: 생산성 개선 아이디어가 있으면 결국 Bot 형태로 구현이 필요
  • 운영비용을 최소화하기 위해 Serverless를 기본으로 사용

상세 내용

• Code Review Bot: Gitlab의 Merge Request, Github의 Pull Request 이벤트 발생시 코드를 다양한 관점에서 리뷰하고 코멘트를 추가
• IntelliJ Coding Assistant: Code Refactoring, Test Code Generation, Code Review
• Confluence Document Review: Confluence 에 "Jihye"와 "요구사항정의서"등 문서의 종류를 태깅하면 문서를 리뷰하고 코멘트 추가
• 유비스 - 이메일 담당자 현행화 업무 자동화
  • Opensource Workflow Automation Tool 인 n8n + baserow +GenAI 활용
  • 각종 시스템 담당자 현행화를 위해 이메을 보내고 > 응답을 받아 변경/유지 확인하고 > 응답 없으면 다시 메일 보내는 등의 복잡한 업무를 자동화
  • 메일 요약 기능
  • 주간보고 자동 생성

Session 5: GS SHOP의 생성형 AI 기술 활용

발표자: 정향선 (GS리테일 클라우드팀장), 한동훈 (AWS 솔루션즈 아키텍트) 발표
GS SHOP이 생성형 AI 기술을 활용해 개발한 멀티모달 검색 시스템, 데이터 검수, 이미지 처리, 상품평 요약 등의 프로젝트를 통해 AI를 활용한 쇼핑의 미래를 조명.

주요 내용

• 리테일을 위한 생성형 AI
• GS SHOP 의 생성형 AI 도입 배경
• 멀티모달 기반 패션검색 사례
• GS 리테일의 생성형 AI 현재와 미래

상세 내용

• Gen AI를 Retail에 사용해야하는 이유
  • 더 나은 고객 경험
  • 최적화된 운영
  • 데이터 인사이트
  • 마케팅 강화
• 전통적인 ML 모델과 Foundation model의 차이점
  • ML은 태스크마다 레이블 작업이 많이 필요함. (ex: Text generation, Summariziation, Information extraction, Q&A, Chatbot)
  • Foundation model은 범용 모델이기 떄문에 빠르게 적용할 수 있음.

• FM커스터마이징 접근법 (아래로 갈 수록 복잡도,품질,비용,시간이 높아짐)
  • 프롬프트 엔지니어링
  • 검색증강생성(RAG)
  • 파인튜닝 (FT)
  • 지속적 사전 학습 (CPT)
• GS SHOP 멀티모달 기반 패션상품 검색
  • 프롬프트 엔지니어링만으로 옷을 색상을 분류하는 모델 구현
  • 개발 배경: 고객이 원하는 상품을 빠르게 필터링하기 위해 LLM 프로젝트를 시작
  • Claude 3 멀티모달을 사용하여 상품 이미지에서 프린트/색상 속성을 자동 추출 후 검색 조건 활용

• 검색 필터를 위한 속성데이터 입력 방안

3. 인상 깊었던 세션 및 기술

3-1.  Gitlab Review Bot  review('LG유플러스의 AI 를 활용한 업무 생산성 개선 활동' 세션)

LG 유플러스의 마인드셋은 'Gen AI 를 (뭔가 대단한 것이 아닌) 일상의 업무를 (크던 작던 상관없이) 지속적으로 개선하는 도구로 활용하자' 이며 효과는 '생산성 증가, FOMO(Fear of Missing Out)감소' 이다. 

LG 유플러스 사내 vpc에 Gen AI(ixi-Jihye)를 구축해서 업무 생산성을 향상 시키고 있다. (한달에 약 500$)

'Intellij Coding assistant' ,'Code Review Bot' 등 다양한 활용처에 Gen AI를 사용하고 있는데 그 중 가장 인상적이 었던건 'Gitlab Review Bot' 이었다.

Gitlab Review Bot

- 개발자가 Merge Request를 생성하면 깃렙 웹혹(Webhook)이 트리거 되어 AWS Lambdas가 bedrock으로 전송

- Bedrock 에서 생성된 코드리뷰는 다시 AWS Lambda를 통해 깃랩 코멘트, 슬랙 알림으로 되도록 구현

gitlab에 MR을 요청하면 자동으로 깃랩 코멘트를 생성하는 봇이다. 실제로 개발하는 과정에서 git lab 코멘트 작성을 놓치거나 고민할 때가 있는데 이런 귀찮은 부분을 자동화 시키면 생산성을 올릴 수 있을 것 같다.

3-2.  GS SHOP 의 멀티 모달 기반 패션 검색 사례 

GS SHOP 에서는 간단한 프롬프트 엔지니어링만 설정하여  '700만개의 의상 카테고리 분류'를 자동화 하였다.

상품 분류를 최저시급으로 계산했을 때 제품당 100원이지만 Bedrock을 이용했을때는 제품당 1.2원이었다. 약 100배이상 싼 비용이다.

간단한 프롬프트 기술만으로도 이렇게 큰 작업을 수행했다는 점에서 Gen AI의 가능성이 무궁무진하다고 느꼈다.

4. 느낀 점 및 앞으로의 기대

작년에는 모든 기업들이 Gen AI를 연구하는 단계에 그쳤다면 올해는 기업들이 Gen AI를 응용하는 단계라고 생각한다. ChatGPT가 나온지 2년채 되지 않는 시점에 정말 다양한 기술들이 쏟아지고 있다. 기술 자체도 중요하지만 기술을 어떻게 응용해서 비즈니스에 녹이는지가 훨씬 중요한 것 같다. 응용 능력을 기르기 위해서는 결국 직접 부딪혀야하고, 오래 달릴려면 작게 시작하고, 배우며 끊임없이 발전해야한다. 

앞으로도 다양한 활용 사례를 보고 배우고, 세상에 도움이 되는 AI를 만들고 싶다.

개요

- Kubernetes 클러스터는 제어 플레인과 작업자 노드로 구성된다.

- Control Plane Components는 클러스터의 상태를 관리하고, Node Components는 Pod와 컨테이너의 실행을 유지 관리한다.

- 애드온은 Kubernetes의 기능을 확장하며, 다양한 클러스터 관리와 모니터링 기능을 제공한다.

- Kubernetes는 다양한 환경에 맞게 아키텍처를 유연하게 조정할 수 있다.

1. 🗂️ Kubernetes의 핵심 구성 요소

• Kubernetes 클러스터는 제어 플레인과 하나 이상의 작업자 노드(worker nodes)로 구성된다.
• 제어 플레인(control plane)은 클러스터의 전반적인 상태를 관리하고 조정하는 역할을 한다.
• 워커 노드는 Pod를 실행하고, 컨테이너의 실제 작업을 수행한다.
• Pod는 Kubernetes에서 실행되는 기본적인 배포 단위이며, 하나 이상의 컨테이너를 포함할 수 있다.
• 클러스터의 각 구성 요소는 서로 상호작용하며, 이를 통해 클라우드 환경에서의 컨테이너 오케스트레이션을 가능하게 한다.

-> 컨트롤 플레인은 노드들을 관리하고 실제로 파드가 작동 되는 곳은 노드(워커 노드) 이다.

2. 🗝️ Kubernetes의 Control Plane과 Node 구성 요소

• Control Plane Components는 클러스터 전체 상태를 관리한다. 그래서 Kubernetes HTTP API를 제공하는 핵심 서버가 포함된다.
• 모든 API 서버 데이터를 위한 일관적이고, 고가용성의 키-값 저장소(ETCD <- 매우 중요!!!)를 가진다.
• 아직 노드에 할당되지 않은 Pod를 찾아 적합한 노드에 할당한다. 그래서 Kubernetes API 동작을 구현한다.
• Node Components는 모든 노드에서 실행되며, 실행 중인 Pod와 Kubernetes 런타임 환경을 유지관리한다.
• Pod가 실행 중인지 확인하고, 그들의 컨테이너도 포함된다.
• 네트워크 규칙을 노드에서 유지하여 Kubernetes 동작을 구현한다.
• 컨테이너 실행을 책임지는 소프트웨어가 필요하다. 그래서 추가 소프트웨어가 각 노드에 필요할 수 있다. 예를 들어, 로컬 구성 요소를 감독하기 위해 Linux 노드에서도 실행될 수 있다.

-> 위 내용과 반복되는 내용

3. 🌟 Kubernetes의 기능을 확장하는 애드온

• 애드온(Addons)은 Kubernetes의 기능을 확장한다.
• 클러스터 전반의 DNS 이름풀이를 제공한다.
• 웹 인터페이스를 통한 클러스터 관리가 가능하다.
• 컨테이너 메트릭스 수집 및 저장을 지원한다.
• 컨테이너 로그를 중앙 로그 저장소에 저장한다.
• 🔧 유연한 아키텍처
  • Kubernetes는 구성 요소를 배포하고 관리하는 방식에서 유연성을 제공한다.
  • 소규모 개발 환경부터 대규모 프로덕션 배포까지 다양한 요구에 맞게 아키텍처를 조정할 수 있다.
  • 각 구성 요소에 대한 자세한 정보와 다양한 구성 방법은 추가 학습이 필요하다.

-> 쿠버네티스는 addon들을 통해서 기능을 확장할 수 있고, 확장에 용이하다. 

ref

Kubernetes Components | Kubernetes