Ruoying Wang

GUYONG · @guyong1449

AI 基础设施与高效推理 · 昆山杜克大学

邮箱·GitHub·个人站 · GUYONG·微信:wry18851063808

关于我

我就读于昆山杜克大学应用数学与计算科学专业计算机科学方向,研究如何让 AI 模型更高效地推理与部署。目前的工作涉及推测解码、移动端 GUI 智能体和机器学习系统。

我关注算法与运行时实现之间的衔接:减少重复的模型计算、并行化 CPU 侧推理工作,并在完整流水线中测量延迟。

研究经历

免训练推测解码与 Token 复用

2026 年 8 月至今

导师:Jiacheng Shen 教授

优化免训练大语言模型推理中的草稿生成路径。通过多源后缀检索、基于 Trie 的候选融合,以及考虑置信度与成本的选择策略,在 Llama 3.1-8B、NVIDIA A40 的五次完整基准测试中,相比原始 Suffix proposer 将解码阶段实际耗时降低 20.4%。

将逐请求串行推测改为跨请求批量并行草稿生成,采用持久化 C++ 线程池并释放 GIL。批量大小为 16 时,CPU 草稿生成耗时由 280.6 μs 降至 102.9 μs(加速 2.73 倍),生成结果保持逐位一致。

MEMOIR:移动端 GUI 智能体运行时加速

2026 年 3 月至 8 月

导师:Jiacheng Shen 教授

共同设计精简的推理复用 DSL 与基于置信度的记忆检索,复用成功的 GUI 操作经验,减少重复的视觉语言模型推理。在 AndroidControl 与 Qwen3-VL 8B 上,单步耗时由 3,314 ms 降至 1,019 ms(加速 3.25 倍);相较思维链智能体,底层步骤准确率由 65.2% 提升至 69.3%。论文已投稿 ICLR。

PACESatMAE:卫星数据分布式预训练

2025 年 3 月至 2026 年 5 月

导师:Zuchuan Li 教授

构建面向 TB 级卫星影像的分布式 PyTorch 训练与流式数据加载流水线,优化多 GPU 吞吐与 I/O 效率。针对 170 多个波段的 PACE 高光谱影像,设计使用可学习嵌入的 256 级光谱 token 化方法。下游叶绿素 a 浓度估计达到 R² = 0.986;MAE 预训练使收敛速度提高约 2.5 倍。

实习经历

教育软件与 AI 平台工程

2026 年 7 月至今

佛山兴伦实验室科技有限公司

自建并上线基于 Moodle LMS 的 AI 驱动 HKDSE 题库平台,覆盖英语、数学、物理、化学、生物 5 个学科;全库约 1.18 万题、625+ 套测验。

搭建“AI 转录 → 自动化部署 → 程序化审批”题目处理流水线,在后台部署模型推理服务以支持 AI 辅助批卷与测评分析,串联题目管理、批改、分析和学校端交付。

学生端真实作答入口页实测 TTFB 约 0.2 秒。

计算机视觉实习生 · 视觉模型部署与实时推理

2026 年 5 月至 8 月

南京莱斯电子设备有限公司

构建实时无人机视频推理流水线,结合 YOLOv5 目标检测、Qwen2.5-VL 场景理解与跨帧时序一致性检查。在华为昇腾 910B NPU 上部署视觉模型,采用结构化剪枝、INT8 量化和硬件感知编译,降低模型体积与推理开销。

实现五路 720p 视频异步推理流水线,将硬件视频解码、预处理和 NPU 执行重叠,保持解码到推理的 P95 延迟低于 100 ms。

教育背景

昆山杜克大学

2024 年至 2028 年(预计)

应用数学与计算科学学士,计算机科学方向。GPA:3.6/4.0。

技能

Python、C++、Java · PyTorch、分布式训练 · Linux、Docker、Git · CUDA/CANN