sh2orc_

$ whoami

Taeyoung Lee.

又名 全栈拿铁 · sh2orc

AI平台与推理工程师

在开发金融支付系统和数据平台的过程中，我学会了如何设计和运营持续可用的服务。现在，我将这些经验用于LLM推理与智能体平台的设计和开发。

我通过vLLM服务、模型量化和推测解码提高推理效率，并将其连接到让智能体执行真实工作的环境中。我也让各种LLM适应韩语和韩国语境，并亲手制作所需的数据集。

在个人工作室里，我制作IYAGI终端、窗口管理工具以及家人使用的应用。尽可能公开制作成果，并通过文章和演讲分享过程中的收获。

看看我正在做什么 →
profile.jsonjson
{
  "handle": "sh2orc",
  "pen_name": "全栈拿铁",
  "role": "AI平台与推理工程师",
  "building": ["inference platforms","agent tools"],
  "research": ["Korean LLMs","datasets"],
  "personal": ["iyagi","ieum"],
  "focus": ["vLLM","MXFP4","EAGLE-3"],
  "stack": ["python","rust","typescript"],
  "fuel": "latte"
}
always a work in progress

$ ls ~/interests

目前深入探索的方向.

inference/

更快，也更轻量

研究vLLM与FP8服务、EAGLE-3推测解码以及MXFP4、GPTQ量化，让模型优化真正提高GPU运行效率。

agents/

智能体工作的环境

通过计算机操作和多智能体编排，开发让AI执行实际任务的环境。在IYAGI中，探索持续保留多个编程智能体会话的方法。

data-platform/

让数据可供AI使用

从Hadoop到基于Databricks的NL2SQL，再到MongoDB的向量与关键词混合搜索，将支付数据转化为AI服务可以利用的资源。

operations/

将AI负责到底，直到运营

涉及H200集群运营、B300容量规划以及OpenShift AI和llm-d服务。风险分级、审批、监控和审计追踪也是平台设计的一部分。

$ git log --oneline --reverse

一步步积累的时间.

  1. 2001–04

    start: 从教育软件开始的第一次创业

    开发数学教育软件及面向企业、公共机构的解决方案，开始了制作产品的经历。

  2. 2004–06

    serve: 在消防现场帮助他人

    消防服役期间参与了2,300多次出勤，为12次救援作出贡献，并因现场工作获得表彰。

  3. 2010

    build: 构建处理金融数据的Hadoop平台

    搭建大规模支付数据分析基础，并持续开发金融支付系统和数据平台。

  4. 2018

    study: 研究异常支付检测并发表论文

    在IEEE PlatCon发表基于可扩展架构和Redis Cluster的检测研究，并完成电子与计算机工程硕士学业。

  5. 2020

    ship: 核心支付系统的零停机迁移

    从2017年起构建Linux x86高可用架构，应用机器学习进行故障检测，实现0.3秒以内恢复。

  6. 2021–23

    ship: 推出跨境二维码支付与艺术电商

    带领内部创业团队，推出连接亚洲五国的二维码支付服务，以及面向新兴艺术家和残障艺术家的数字艺术电商平台。

  7. 2023

    build: 开始自主开发LLM

    制定企业AI与机器学习路线图，从27B模型开始自主开发，随后与团队拓展为面向编程和智能体任务的模型系列。

  8. 2024.06

    build: 设计AI服务的云端运营基础

    推动云原生AI服务设计及LLM研究与应用，为模型接入实际服务建立基础。

  9. 2024.12

    build: 与团队打造推理、RAG和智能体平台

    以XP敏捷实践带领团队，持续自主设计和开发所需的AI服务。

  10. 2025

    share: 通过演讲和政策咨询分享AI开发经验

    分享自主构建AI平台的过程，并就金融领域AI研发环境及公共领域的数字化、AI应用提供建议。

  11. 2026.05

    speak: 在国际舞台分享推理优化经验

    介绍与团队共同构建的SLM Swarm运营平台，以及GPU使用量最多降低70%、推理速度提升至3倍以上的成果。

  12. 2026.08

    release: 使用自主MXFP4量化训练并公开模型

    moai-gemma4-31b-mxfp4在K-Leaderboard中获得综合第10名、K-MMLU第7名。排名截至2026年8月。

  13. 2026.09

    scale: 将智能体开发环境推广至200名开发者

    团队开发的MoAI MATE先在39名开发者中进行POC，观察到生产力提高56.4%、错误减少64%，随后推广至200名开发者。

  14. 2026

    study: 兼顾工作与数据科学学习

    从2024年起兼顾工作与学业，完成数据科学硕士课程。

  15. 2026

    release: 将自己使用的智能体工具开源

    公开了面向多个AI编程智能体的IYAGI Terminal，以及基于Rust与Tauri 2的macOS窗口管理工具IYAGI Layout。

  16. HEAD正在编写下一次提交_

在LinkedIn查看详细经历 ↗

$ cat ~/research/README.md

从实践出发的学习与研究.

education

从计算机科学到数据科学

首尔市立大学计算机科学学士（2010）、高丽大学电子与计算机工程硕士（2018）、Illinois Institute of Technology数据科学硕士（2026）。

publications

实时支付分析与异常交易检测

利用可扩展网络架构及内存计算进行支付分析的研究（2017），以及基于Scalable Architecture与Redis Cluster的异常支付检测论文（IEEE PlatCon，2018）。

patents

6项韩国授权专利，量化专利申请中

专利涉及支付、卡片与商户推荐，以及设备间接口。用于MXFP4量化的多语言Hessian正则化方法正在申请专利。

$ ls ~/talks-and-writing

分享开发过程中学到的东西.

  1. 2026.09

    KT Group Connect Week

    利用BCGPT、MoAI与SLM Swarm推动企业自主AI转型

  2. 2026.09

    MongoDB.local Seoul

    BC Card的AX之旅：将支付数据转化为AI可用资产

  3. 2026.05

    Red Hat Summit · Atlanta

    基于SLM Swarm与Red Hat的智能体AI运营平台

  4. 2025.10

    Red Hat Summit Connect Seoul

    从运营到创新：在Red Hat OpenShift上构建AI平台的过程