avatar
文章
482
标签
337
分类
9
首页
归档
标签
分类
友链
关于
联系
棋飞4GB VRAM Runs 70B, 12GB Runs 671B: Dissecting AirLLM's "Layer-wise Streaming" Magic Back to Home
Search
首页
归档
标签
分类
友链
关于
联系

4GB VRAM Runs 70B, 12GB Runs 671B: Dissecting AirLLM's "Layer-wise Streaming" Magic

Created2026-09-29|Updated2026-09-29|Tech Sharing
|Post Views:
Author: 棋飞
Link: https://qifeidoc.com/en/posts/airllm-layer-streaming/
Copyright Notice: All articles on this blog are licensed under CC BY-NC-SA 4.0 unless otherwise stated.
ailarge-language-modelstutorialAirLLMvram-optimizationInferenceLoRA
Previous
4GB 显存跑 70B,12GB 跑 671B:拆解 AirLLM 的"分层流式"魔法
大模型圈有一类话题永远有热度:”我家显卡只有 X GB,能跑多大模型?” 以前这个问题的答案很残酷——8B 要 16GB,70B 要 80GB,405B 得上 4 卡 H100,Kimi K3 这种 2.8T 的怪物根本别想本地玩。但 GitHub 上有个叫 AirLLM 的项目,把这套心智模型掀了个底朝天: 模型 参数量 AirLLM 实测 VRAM Qwen3-8B / Mistral-7B 8B ~1–2 GB Qwen3-30B / Mixtral 30–47B ~1–3 GB Qwen3.8-27B (含视觉) 27B 3.33 GB Qwen3.8-Flash-Next ~180B (MoE + PLE) 5.95 GB Qwen3-235B 235B ~3 GB Llama 3.x 70B 70B ~4 GB Llama 3.1 405B 405B ~8 GB DeepSeek-V3 671B ~12 GB Kimi K3 2.8T 3.72 GB 你没看错——671B 全量化训练挂一层在 12GB...
Next
AI Daily · 2026-09-29
In the last twenty-four hours, the AI industry’s narrative has been remarkably clear: on one side, Nvidia is pushing “Agent safety” from the software layer all the way down to silicon, with a three-pronged rollout spanning platform, chips, and community discussion; on the other, Anthropic is using Sonnet 5.5 to redraw the cost curve for mid-tier models, while Meta and AMD are placing their own bets at the enterprise AI and compute ends of the board. Let’s break down these ten stories one by o...
Related Articles
2026-09-29
4GB 显存跑 70B,12GB 跑 671B:拆解 AirLLM 的"分层流式"魔法
大模型圈有一类话题永远有热度:”我家显卡只有 X GB,能跑多大模型?” 以前这个问题的答案很残酷——8B 要 16GB,70B 要 80GB,405B 得上 4 卡 H100,Kimi K3 这种 2.8T 的怪物根本别想本地玩。但 GitHub 上有个叫 AirLLM 的项目,把这套心智模型掀了个底朝天: 模型 参数量 AirLLM 实测 VRAM Qwen3-8B / Mistral-7B 8B ~1–2 GB Qwen3-30B / Mixtral 30–47B ~1–3 GB Qwen3.8-27B (含视觉) 27B 3.33 GB Qwen3.8-Flash-Next ~180B (MoE + PLE) 5.95 GB Qwen3-235B 235B ~3 GB Llama 3.x 70B 70B ~4 GB Llama 3.1 405B 405B ~8 GB DeepSeek-V3 671B ~12 GB Kimi K3 2.8T 3.72 GB 你没看错——671B 全量化训练挂一层在 12GB...
2026-10-13
Strata 实测:64G 内存 + 16G 显卡本地跑 125B 千亿大模型,速度 30 token/s
大模型圈有一个流传很久的梗:“我家显卡只有 8G,能跑什么模型?” 过去这个问题的答案相当残酷——8B 要 16G,70B 要 80G,125B 干脆属于服务器。但最近冒出来的开源项目 Strata 把这套心智模型掀了:它利用显存、内存、SSD 的三级调度,让一台 i5-12400 + 64G 内存 + 16G 5060Ti 的普通电脑,实测跑起了 125B 千亿参数的 MoE 大模型,输出速度稳定在 30+ token/s,上下文开到 128K。 我在这台机器上完整跑了一遍从下载到对话的流程,把 Strata 的原理、硬件门槛、四个引擎版本的差异,以及用 AI 编程助手替代手敲命令的部署方法都整理了出来。结论先给:这套方案对”想玩千亿模型但只有游戏卡”的人是真门槛降低了一截,但对磁盘和内存的要求一点没松。 一、实测环境:配置真的很普通先说结论的前提——这台机器没有任何服务器级配置: 硬件 实测配置 说明 CPU i5-12400 普通桌面级,没有 AVX-512 内存 64 GB 硬门槛,官方最低要求就是 64G 显卡 RTX 5060 Ti ...
2026-09-29
AI 在"思考"的时候到底在做什么:一份大模型底层逻辑的拆解笔记
最近 AI 圈有一个奇怪的现象:模型越来越像”会思考的人”,但它们的底层,其实从来没变过。 这一篇我想把”大模型到底是什么”这件事讲清楚。不是讲 API、不是讲 Prompt 技巧,是从最底层——它到底是怎么”吐出下一个字”的——拆给你看。 看完你会发现,我们平时说的”AI 思考”、”AI 推理”,其实都不是它真的在思考。 一、先把一件事说死:AI 不认识字很多人对 AI 的第一误解,就是把 ChatGPT、Claude、文心一言想象成一个”读过全人类书籍的超级大脑”。这个画面很酷,但从原理上就不对。 大模型的输入和输出,从头到尾只有一种东西:数字序列,在专业术语里叫 Token(词元)。 所以当你问 AI “你今天吃饭了吗”这句话,它看到的不是中文汉字,而是一串数字。比如它眼里这句话可能是: 12345你 → 123今天 → 456吃饭 → 789了 → 012吗 → 345 这个”汉字 ↔ 数字”的翻译过程,叫做分词(Tokenization),由一个叫”分词器”的小组件完成。 这里有一个细节容易踩坑:同一个汉字,在不同的模型里对应的数字可能完全不同。同一句话,丢给 GPT...
2026-09-30
Codex (ChatGPT) Six-Month Update Roundup: 4 Hard Tips to Save Tokens + 8 New Tricks
It’s been six months since our last beginner’s guide to Codex. In those six months, Codex has evolved from a standalone desktop app into a feature integrated inside the ChatGPT client, and filled out a whole set of new capabilities: Sites, the office productivity suite, App Shots, Hooks, and more. This post breaks down every key update and focuses on the most practical “token-saving toolkit” for anyone currently using — or about to use — Codex. Bottom line up front: if you only use Chat mode ...
2026-09-30
Codex(ChatGPT)半年更新全盘点:4 个省 Token 硬技巧 + 8 个新奇玩法
距离 Codex 上一次基础教程已经过去半年。这半年里它从独立的桌面应用,合并进了 ChatGPT 客户端,补齐了站点、办公套件、应用快照、Hooks 等一整套新功能。本文把每一个关键更新都拆开来看,并重点梳理最实用的”省 Token 四件套”,供正在用或者准备用 Codex 的朋友参考。 先说结论:如果你只用 Chat 模式跟 Codex 聊天,这个版本最大的意义是”白嫖 ChatGPT 桌面端”;如果你用 Codex 模式跑工程任务,新增的 Hooks、远程控制、多文件夹项目会让它真正变成一个能上生产环境的 Agent。下面分块讲。 一、桌面端合并:三套模式怎么选新版 ChatGPT 桌面客户端已经合并了 Codex,左上角可以切换 Chat / Worker / Codex 三个模式。三者的定位差异可以总结成一张表: 模式 定位 默认能不能动本机 是否消耗订阅额度 Chat 对话问答 Agent(解释代码、翻译、查资料) 不能 不消耗 Worker 通用办公 Agent(调研、文档、表格、PPT、报告) 能 消耗 Codex 编程与工...
2026-09-29
AI Daily · 2026-09-29
The AI world is delivering yet another dense news cycle: new products, fresh funding rounds, emerging regulations, and fresh controversies all breaking at once. I’ve sifted through the most-discussed AI stories on Hacker News, TechCrunch, The Verge, and QbitAI, and picked the 10 most representative ones, ranked by “industry impact × discussion volume.” Each item comes with background context so you can quickly grasp the key points. 1. Pentagon Admits: Overreliance on AI Contributed to Missile...
avatar
棋飞
热爱技术,喜欢折腾。这里记录开发笔记与生活思考。
文章
482
标签
337
分类
9
GitHub
公告
欢迎来到棋飞 🎉
热门文章
  • Naruto Manga Download - NARUTO All 720 Chapters HD Cloud Drive Resources 286
  • MOSS-Image 全能生图:LoRA + 提示词模板工作流实测 144
  • 火影忍者漫画下载 - NARUTO 全 720 话高清网盘资源 47
  • MOSS-Image as an All-Round Generator: LoRA Combo + Prompt Template Workflow 36
  • MiniMax H3 终极工作流:DMAD 加速 LoRA + 单节点二采,12 步跑通文戏武戏 27
基于 GA4 最近 30 天数据 · 浏览量
© 2025 - 2026 By 棋飞框架 Hexo 7.3.0|主题 Butterfly 5.7.0
搜索
数据加载中