inference/
더 빠르게, 더 가볍게
vLLM·FP8 서빙과 EAGLE-3 speculative decoding, MXFP4·GPTQ 양자화를 다룹니다. 모델 최적화가 실제 GPU 운영의 효율로 이어지도록 만듭니다.
$ whoami
이태영.
a.k.a. 풀스택 이라떼 · sh2orc
AI 플랫폼·추론 엔지니어
금융 결제 시스템과 데이터 플랫폼을 만들며, 서비스가 멈추지 않도록 설계하고 운영하는 일을 배웠습니다. 그 경험을 바탕으로 지금은 LLM 추론과 에이전트 플랫폼을 직접 설계하고 개발합니다.
vLLM 기반 서빙, 모델 양자화, speculative decoding으로 추론을 더 효율적으로 만들고, 에이전트가 실제 업무를 수행하는 환경까지 연결합니다. 다양한 LLM을 한국어와 한국적 맥락에 특화하고, 이를 위한 데이터셋도 직접 만듭니다.
개인 작업실에서는 IYAGI 터미널과 창 관리 도구, 가족이 쓰는 앱을 만듭니다. 만든 건 되도록 공개하고, 만들면서 배운 건 글과 발표로 나눕니다.
profile.jsonjson
{
"handle": "sh2orc",
"pen_name": "풀스택 이라떼",
"role": "AI 플랫폼·추론 엔지니어",
"building": ["inference platforms","agent tools"],
"research": ["Korean LLMs","datasets"],
"personal": ["iyagi","ieum"],
"focus": ["vLLM","MXFP4","EAGLE-3"],
"stack": ["python","rust","typescript"],
"fuel": "latte"
} always a work in progress
$ ls ~/interests
지금 깊이 파고드는 일.
agents/
에이전트가 일하는 환경
컴퓨터 사용과 멀티 에이전트 오케스트레이션으로 AI가 실제 작업을 수행하는 환경을 개발합니다. IYAGI에서는 여러 코딩 에이전트의 세션을 이어 가는 방식을 탐구합니다.
data-platform/
데이터를 AI가 쓰도록
Hadoop에서 시작해 Databricks 기반 NL2SQL, MongoDB의 벡터·키워드 하이브리드 검색까지. 결제 데이터를 AI 서비스가 활용할 수 있는 형태로 연결합니다.
operations/
운영까지 책임지는 AI
H200 클러스터 운영과 B300 용량 계획, OpenShift AI·llm-d 기반 서빙을 다룹니다. 모델 위험 분류, 승인, 모니터링과 감사 추적도 플랫폼의 일부로 설계합니다.
$ git log --oneline --reverse
하나씩 쌓아 온 시간.
- 2001–04
start: 교육 소프트웨어를 만드는 첫 창업
수학 교육 소프트웨어와 기업·공공기관용 솔루션을 개발하며 제품을 만드는 일을 시작했습니다.
- 2004–06
serve: 소방 현장에서 사람을 돕는 일
소방 복무 중 2,300회 이상 현장에 출동하고 12건의 구조에 기여했습니다. 현장 활동으로 표창을 받았습니다.
- 2010
build: 금융 데이터를 다루는 Hadoop 플랫폼 구축
대규모 결제 데이터를 분석할 수 있는 기반을 만들고, 금융 결제 시스템과 데이터 플랫폼 개발을 이어 갔습니다.
- 2018
study: 이상 결제 탐지를 연구하고 논문으로 정리
확장형 아키텍처와 Redis Cluster 기반 탐지 연구를 IEEE PlatCon에 발표하고, 전자·컴퓨터공학 석사 과정을 마쳤습니다.
- 2020
ship: 차세대 코어 결제 시스템 무중단 전환
2017년부터 Linux x86 기반 고가용성 아키텍처를 구축하고, ML 장애 탐지와 0.3초 이내 복구를 적용했습니다.
- 2021–23
ship: 국경을 넘는 QR 결제와 예술 커머스 출시
사내 스타트업 팀을 이끌며 아시아 5개국을 연결하는 QR 결제 서비스와 신진·장애 예술가를 위한 디지털 아트 커머스를 출시했습니다.
- 2023
build: 자체 LLM 개발의 시작
전사 AI·ML 로드맵을 수립하고 27B LLM 개발을 시작했습니다. 이후 팀과 함께 코드 작성과 에이전트 작업을 위한 모델군으로 확장했습니다.
- 2024.06
build: AI 서비스를 위한 클라우드 운영 기반 설계
클라우드 네이티브 AI 서비스 설계와 LLM 연구·도입을 이끌며, 모델을 실제 서비스에 연결하는 기반을 마련했습니다.
- 2024.12
build: 팀과 함께 만드는 추론·RAG·에이전트 플랫폼
XP 애자일 방식으로 팀을 이끌며, 필요한 AI 서비스를 직접 설계하고 개발하는 일을 이어 갑니다.
- 2025
share: AI 개발 경험을 발표와 정책 자문으로
AI 플랫폼을 직접 구축한 과정을 발표하고, 금융권 AI 연구개발 환경과 공공 분야의 디지털·AI 활용에 관한 자문에 참여했습니다.
- 2026.05
speak: 추론 최적화 경험을 국제 무대에서 공유
팀과 함께 구축한 SLM Swarm 기반 운영 플랫폼을 소개했습니다. GPU 사용량 최대 70% 절감과 추론 속도 3배 이상 향상 성과를 발표했습니다.
- 2026.08
release: 자체 MXFP4 양자화로 모델을 학습하고 공개
moai-gemma4-31b-mxfp4가 K-Leaderboard 종합 10위, K-MMLU 7위를 기록했습니다. 순위는 2026년 8월 기준입니다.
- 2026.09
scale: 에이전트 개발 환경을 200명에게 확대
팀과 함께 개발한 MoAI MATE를 39명 대상 POC에서 검증했습니다. 생산성 56.4% 향상과 버그 64% 감소를 확인한 뒤, 개발자 200명에게 도입을 확대했습니다.
- 2026
study: 일과 학업을 병행하며 데이터사이언스 공부
2024년부터 업무와 학업을 병행하고, 데이터사이언스 석사 과정을 마쳤습니다.
- 2026
release: 직접 쓰는 에이전트 도구를 오픈소스로
여러 AI 코딩 에이전트를 위한 IYAGI Terminal과 Rust·Tauri 2 기반 macOS 창 관리 도구 IYAGI Layout을 공개했습니다.
- HEAD다음 커밋 작성 중_
$ cat ~/research/README.md
실무에서 시작한 공부와 연구.
컴퓨터과학에서 데이터사이언스까지
서울시립대학교 컴퓨터과학 학사(2010), 고려대학교 전자·컴퓨터공학 석사(2018), Illinois Institute of Technology 데이터사이언스 석사(2026).
실시간 결제 분석과 이상 거래 탐지
확장형 네트워크 아키텍처와 인메모리 컴퓨팅을 활용한 결제 분석 연구(2017), Scalable Architecture·Redis Cluster 기반 이상 결제 탐지 논문(IEEE PlatCon, 2018).
국내 등록 특허 6건 · 양자화 특허 출원
결제, 카드·가맹점 추천, 기기 간 인터페이스 관련 특허를 보유하고 있습니다. MXFP4 양자화를 위한 다국어 Hessian 정규화 방식은 출원 중입니다.
$ ls ~/talks-and-writing
만들며 배운 것을 나눕니다.
- 2026.09
KT Group Connect Week
BCGPT와 MoAI, SLM Swarm으로 만드는 사내 AI 전환
- 2026.09
MongoDB.local Seoul
결제 데이터를 AI가 활용할 수 있는 자산으로 바꾸는 BC카드의 AX 여정
- 2026.05
Red Hat Summit · Atlanta
SLM Swarm과 Red Hat 기반 Agentic AI 운영 플랫폼
- 2025.10
Red Hat Summit Connect Seoul
운영에서 혁신으로: Red Hat OpenShift 위에 AI 플랫폼을 만든 과정