inference/
より速く、より軽く
vLLM・FP8サービング、EAGLE-3投機的デコーディング、MXFP4・GPTQ量子化に取り組みます。モデル最適化を実際のGPU運用の効率につなげます。
$ whoami
a.k.a. フルスタック・ラテ · sh2orc
AIプラットフォーム・推論エンジニア
金融決済システムとデータ基盤を作りながら、サービスを止めずに設計・運用することを学びました。その経験を活かし、現在はLLM推論とエージェント基盤を設計・開発しています。
vLLMによるサービング、モデル量子化、投機的デコーディングで推論を効率化し、エージェントが実際の業務を行う環境へとつなげます。多様なLLMを韓国語と韓国の文脈に特化させ、そのためのデータセットも制作しています。
個人の作業室ではIYAGIターミナルやウィンドウ管理ツール、家族が使うアプリを作っています。作ったものはできるだけ公開し、学んだことを記事や発表で共有しています。
{
"handle": "sh2orc",
"pen_name": "フルスタック・ラテ",
"role": "AIプラットフォーム・推論エンジニア",
"building": ["inference platforms","agent tools"],
"research": ["Korean LLMs","datasets"],
"personal": ["iyagi","ieum"],
"focus": ["vLLM","MXFP4","EAGLE-3"],
"stack": ["python","rust","typescript"],
"fuel": "latte"
}$ ls ~/interests
inference/
vLLM・FP8サービング、EAGLE-3投機的デコーディング、MXFP4・GPTQ量子化に取り組みます。モデル最適化を実際のGPU運用の効率につなげます。
agents/
コンピューター操作とマルチエージェントの連携により、AIが実際の作業を行う環境を開発します。IYAGIでは複数のコーディングエージェントのセッションを維持する方法を探っています。
data-platform/
HadoopからDatabricksによるNL2SQL、MongoDBのベクトル・キーワード複合検索まで。決済データをAIサービスで活用できる形につなぎます。
operations/
H200クラスター運用、B300容量計画、OpenShift AI・llm-dによるサービングを扱います。リスク分類、承認、監視、監査証跡も基盤の一部として設計します。
$ git log --oneline --reverse
start: 教育ソフトウェアで初めての起業
数学教育ソフトウェアと企業・公共機関向けソリューションを開発し、製品作りを始めました。
serve: 消防の現場で人を助ける
消防服務中に2,300回以上出動し、12件の救助に貢献しました。現場活動に対する表彰を受けました。
build: 金融データを扱うHadoop基盤の構築
大規模な決済データを分析する基盤を作り、金融決済システムとデータ基盤の開発を続けました。
study: 異常決済検知を研究し論文にまとめる
スケーラブルなアーキテクチャとRedis Clusterによる検知研究をIEEE PlatConで発表し、電子・コンピューター工学の修士課程を修了しました。
ship: コア決済システムの無停止移行
2017年からLinux x86による高可用性構成を構築し、MLによる障害検知と0.3秒以内の復旧を適用しました。
ship: 国境を越えるQR決済とアートコマースの提供
社内スタートアップチームを率い、アジア5か国をつなぐQR決済と、新進・障害のあるアーティスト向けデジタルアートコマースを立ち上げました。
build: 自社LLM開発の始まり
全社AI・MLロードマップを策定し、27BのLLMから開発を開始。その後チームと共に、コーディングやエージェント作業向けのモデル群へ拡張しました。
build: AIサービス向けクラウド運用基盤の設計
クラウドネイティブAIサービスの設計とLLMの研究・導入を進め、モデルを実サービスにつなぐ基盤を整えました。
build: チームと作る推論・RAG・エージェント基盤
XPアジャイルの実践でチームを率い、必要なAIサービスを自ら設計・開発しています。
share: AI開発経験を発表と政策助言へ
AI基盤を構築した過程を発表し、金融分野のAI研究開発環境や公共分野のデジタル・AI活用について助言しました。
speak: 推論最適化の経験を国際舞台で共有
チームと構築したSLM Swarm基盤を紹介。GPU使用量を最大70%削減し、推論を3倍以上高速化した成果を発表しました。
release: 独自のMXFP4量子化でモデルを学習・公開
moai-gemma4-31b-mxfp4がK-Leaderboardで総合10位、K-MMLUで7位を記録しました。2026年8月時点の順位です。
scale: エージェント開発環境を200人へ展開
チームで開発したMoAI MATEを39人の開発者によるPOCで評価。生産性56.4%向上、バグ64%減少を確認し、200人へ導入を拡大しました。
study: 仕事と両立しながらデータサイエンスを学ぶ
2024年から仕事と大学院での学業を両立し、データサイエンス修士課程を修了しました。
release: 自分で使うエージェントツールをオープンソースに
複数のAIコーディングエージェント向けIYAGI Terminalと、Rust・Tauri 2製macOSウィンドウ管理ツールIYAGI Layoutを公開しました。
$ cat ~/research/README.md
ソウル市立大学コンピューター科学学士(2010)、高麗大学電子・コンピューター工学修士(2018)、Illinois Institute of Technologyデータサイエンス修士(2026)。
スケーラブルなネットワーク構成とインメモリ計算による決済分析研究(2017)、Scalable Architecture・Redis Clusterによる異常決済検知論文(IEEE PlatCon、2018)。
決済、カード・加盟店推薦、機器間インターフェースに関する特許を保有。MXFP4量子化向け多言語Hessian正則化手法は出願中です。
$ ls ~/talks-and-writing
BCGPT・MoAI・SLM Swarmによる自社AI変革
決済データをAIが使える資産に変えるBC CardのAXの歩み
SLM SwarmとRed HatによるAgentic AI運用基盤
運用から革新へ:Red Hat OpenShift上でAI基盤を構築した過程