扩散模型推理计算 Scaling 的新探索 Inference-Time Scaling for Diffusion Models beyond Scaling Denoising Steps https://arxiv.org/abs/2501.09732 论文表明，推理时 scaling 对扩散模型也是有效的，虽然去噪步骤的增加在达到某个阈值后会趋于平稳，但增加推理时间可以显著提高扩散模型生成的样本质量。 扩散模...
Ferret-UI 2 学习笔记 很多爱心~ 它是什么 Ferret-UI 2: Mastering Universal User Interface Understanding Across Platforms https://arxiv.org/abs/2410.18967 它是苹果推出的跨平台 UI 理解模型，相比第一版 Ferret-UI，这一版本有三大创新： 具有平台多样...
ARTS #224 | 初识 MoE 一次绝佳的啤酒之旅，第一次感受直接从发酵罐里打精酿啤酒的味道~ Algorithm 本周选择的算法题是：Shifting Letters II。 class Solution: def shiftingLetters(self, s: str, shifts: List[List[int]]) -> str: n = len(s) ...
ARTS #223 | CacheBlend & AWQ 福建西部连城的冠豸山，每个季节都有不同的美景~ Algorithm 本周选择的算法题是：Find Building Where Alice and Bob Can Meet。 class Solution: def leftmostBuildingQueries(self, heights: List[int], queries: List[List[int]]) ...
ARTS #222 | WAM 与 LMDeploy 家里多了一个可爱的小物件，萌萌的垃圾桶~ Algorithm 本周选择的算法题是：Smallest String With A Given Numeric Value。 class Solution: def getSmallestString(self, n: int, k: int) -> str: result = [] ...
什么是 CUDA Graphs 用 CUDA Graphs 加速 PyTorch 模型~ CUDA Graphs 是 NVIDIA CUDA 10 引入的一项高级特性，它能够将一系列 CUDA 内核定义并封装为一个单一的操作图，而不是逐个启动操作。这种机制通过一个 CPU 操作启动多个 GPU 操作，从而减少 GPU 任务的启动开销。 在传统的 GPU 编程中，每当需要让 GPU 执行任务时，CPU 都必须...
ARTS #221 | Late Chunking 附近的一座小山，山里藏了个小瀑布，适合玩水的季节~ Algorithm 本周选择的算法题是：K-th Smallest in Lexicographical Order。 class Solution: def findKthNumber(self, n: int, k: int) -> int: def count_numbers(prefi...
提升 Python 代码质量的工具组合 去石牛山的天气不太好，雾大，但景色依然迷人，别有一番神秘的美感。 前言 Python 这门语言优点很多，简洁、易读，在众多编程语言中脱颖而出，然而随着项目规模的扩大，代码的规范性和潜在错误成为不容忽视的问题，特别是在重构的时候，修改方法定义、删减参数量都有可能造成潜在的错误。 为了提升 Python 代码质量，我最近评测了四个工具，并最终选择了其中三个。 结论： ...
在 Java 里推理 ONNX 模型 十一在海边露营，风景很美~ 最近尝试在 Java 里直接推理模型，避免在生产环境中使用 Python，一方面是出于性能和多线程等原因，另一方面还能减少线上环境的复杂度，当团队实施微服务架构时，团队的规模是考量微服务粒度的重要因素之一，因此对小团队来说，能在 Java 里直接调用模型将大大减少服务运维的复杂度，不用担心服务灰度、版本不匹配等问题。 什么是 ONNX？ ONNX...
TorchScript 初窥 在长汀遛娃拍的反差照，一个好吃又好玩的县城，消费也不高~ TorchScript 是一种从 PyTorch 代码创建可序列化和可优化模型的解决方法，任何 TorchScript 程序都可以从 Python 进程中保存导出，并在非 Python 环境中加载。 PyTorch 官方提供了工具能将模型从纯 Python 程序转换为可以独立于 Python 运行的 TorchScri...