V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
V2EX › 推理
 |
大概知道为什么取消 5 小时限额了。5.6 sol 额度消耗太快，不取消的话用不了。 刚刚做了个需求，手写大概要一周。5.6 sol+极高推理，跑了一个小时，用了 1.3 个周限(用了一次重置)，才跑了一半。不知道是不是还得再用个周限。 Codex • evan1 • 3 days ago • Lastly replied by jko123 | 4 |
 |
推理强度：最高，在 Mac 上是默认关闭的不可选 OpenAI • andforce • 7 days ago • Lastly replied by Swe3tDream | 10 |
 |
5.6 极高 最高 OpenAI • azal • 9 days ago • Lastly replied by lurenjiauser | 17 |
 |
请问单卡或者双卡的 LLM 推理服务器用什么卡较好，预算 10w 左右的，是不是 H20 是比较合适的选择 问与答 • tkwl • 11 days ago • Lastly replied by AIgogo | 3 |
 |
多机异构显卡组合推理 Local LLM • NorthGod • 5 days ago • Lastly replied by Soulxe2v | 24 |
 |
上百个 AI 智能体协作优化 Gemma 4 推理，这也太夸张鸟😁 分享创造 • chaosdefense • Jun 29 |
 |
llama.cpp 服务开启 embedding 是否稳定？ 机器学习 • fox0001 • Jun 24 • Lastly replied by onetown | 1 |
 |
开源了一个 LLM 推理服务监控面板 Local LLM • invdan • Jun 22 |
 |
Step Plan 限时免费体验，海量 Token 放送中！ 推广 • suifengdaren • Jun 20 • Lastly replied by wcs | 4 |
 |
有支持 6000 Ada 使用 deepseek v4 flash 推理 的框架吗 Local LLM • frankyzf • 15 days ago • Lastly replied by frankyzf | 9 |
 |
codex 5.5xhigh 对项目 AGENTS.md 的遵循度有点低，是我方式不对? 程序员 • livin2 • Jun 17 • Lastly replied by ximaoyang | 4 |
 |
opencode 使用 deepseek 如何设置推理强度呢？ 问与答 • c00WKmdje2wZLrSI • Jun 12 • Lastly replied by c00WKmdje2wZLrSI | 1 |
 |
关于低算力 gpu 推理时 prefill 在总时长中的占比问题 Local LLM • zzutmebwd • Jun 9 • Lastly replied by coefu | 8 |
 |
Mac book air M5 32G+1TB 能跑本地大模型？
Local LLM • TGOcc PRO |
17 |
 |
据说这是目前全世界最快的文本推理速度 分享发现 • HMYang33 • Jun 4 • Lastly replied by tf2 | 22 |
 |
消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang，好像使用 transformer 推理都比这两个框架快，并且占用显存低 Local LLM • zhengfan2016 • Jun 9 • Lastly replied by zzutmebwd | 20 |
 |
拒绝感觉有效，基于在线推理性能测评，选出最适合我 Mac 的 LLM 推理框架 分享创造 • kuhung • May 22 |
 |
昇腾是目前性价比最高的推理 GPU 吗？ 问与答 • letmatte • May 21 • Lastly replied by lyxxxh2 | 8 |
 |
关于 5070ti 模型推理的速度和本地部署思考 Local LLM • tootfsg • May 20 • Lastly replied by tootfsg | 9 |
 |
Qwen3.6 MTP GGUF 发布：本地推理 1.4-2.2 倍加速 人工智能 • Fdyo • May 19 • Lastly replied by hutng | 1 |
 |
独立游戏] 我用 Pygame + LLM 搓了一个解谜游戏，把“海龟汤”和“逻辑狙击”做成了无限流 分享创造 • Srande • May 8 • Lastly replied by Srande | 2 |
 |
推荐一个 GPU 推理速度计算器, 可能方便买配件自建本地大模型的人用上 Local LLM • Hermitist • May 8 • Lastly replied by diudiuu | 18 |
 |
我做了一个 AI 辅助小说阅读系统，可以从 1000 万字里推理出跨越全书的身世谜题 分享创造 • lerry • Apr 30 • Lastly replied by lerry | 2 |
 |
自己做了一款在线 GPU 推理速度计算器 · TPS Calculator Local LLM • diudiuu • May 7 • Lastly replied by diudiuu | 12 |
 |
轻度使用了 Kimi k2.6，环境是 opencode go，推理过程给人一种极其难受的感觉 程序员 • defaw • Apr 27 • Lastly replied by maijh | 20 |
 |
昨天上线一个推理密码的小游戏，大家有空玩玩。 分享创造 • k516500 • Apr 23 • Lastly replied by siteshen | 6 |
 |
claude code 降智被实锤了
1 Claude Code • yarkyaonj • Apr 14 • Lastly replied by qiqw
|
38 |
|
macbook 32G 内存, M5 芯片本地跑大模型有推荐的吗? Local LLM • Hermitist • May 25 • Lastly replied by leon0318 | 26 |
 |
最近在研究学习一些 AI Coding 相关的东西，加入新的模型
1 分享创造 • alexwang0707 • Apr 3 • Lastly replied by alexwang0707
|
2 |
 |
有没有复杂问题和抽象问题强推理能力的模型 程序员 • zzNaLOGIC • Mar 14 • Lastly replied by Jonchil | 7 |
 |
手机版小龙虾有没有意义 OpenClaw • NeverMore11 • Mar 13 • Lastly replied by NeverMore11 | 18 |
 |
Claude Opus 4.6 无限用量 如何利用 问与答 • Winner4good • Feb 24 • Lastly replied by gzxwhut | 11 |
 |
作为新质生产资料的 tokens 云计算 • beyondstars • Feb 22 • Lastly replied by chengxiao | 11 |
 |
放假前夕分享个适合打发时间的推理小游戏！ 分享创造 • wcp1231 • Feb 12 • Lastly replied by wcp1231 | 6 |
 |
[商汤/大装置] 诚邀 Rust 系统工程师共建下一代 AI 推理基础设施 酷工作 • adamcavendish • Feb 13 • Lastly replied by adamcavendish | 17 |
 |
GLM4.7 出了 Coding 套餐也可以用 程序员 • soleils • Dec 24, 2025 • Lastly replied by byteLoading | 4 |
 |
程序员即 Agent 奇思妙想 • Hoye • Nov 27, 2025 • Lastly replied by HSn0918 | 13 |
 |
一道三年级数学题把大模型难住了，不是说数学推理都很厉害吗 程序员 • goodryb • Oct 31, 2025 • Lastly replied by charles0 | 56 |
 |
如果让 6 个 AI Agent 一起玩谁是卧底游戏，赢家会是？ 分享创造 • leslieo2 • Oct 27, 2025 • Lastly replied by leslieo2 | 6 |
 |
你们平时是怎么刷题的 问与答 • nenseso • Sep 8, 2025 • Lastly replied by boyzhang | 3 |
 |
你们可以找一个比较大的数，让大模型判断一下是不是质数 随想 • simplejian • Aug 20, 2025 • Lastly replied by notGATE424 | 38 |
 |
硬核探索式推理类游戏推荐 游戏 • w568w • Aug 13, 2025 • Lastly replied by dxgfalcongbit | 13 |
 |
智谱开源的 GLM4.5 怎么没人讨论 程序员 • javalaw2010 • Jul 31, 2025 • Lastly replied by HetFrame | 25 |
 |
阿瓦隆桌游介绍：背叛与忠诚的智慧对决 游戏 • aolifu • Apr 18, 2025 • Lastly replied by BD7KUE | 1 |
 |
这道数学题能让目前所有 AI 原地爆炸
1 分享发现 • ayang23 • Mar 18, 2025 • Lastly replied by Samcc
|
105 |
 |
A30 显卡-24G 显存，推荐部署什么大模型呢
1 Local LLM • ZimaBlueee • Mar 28, 2025 • Lastly replied by hefish
|
8 |
 |
用大白话来告诉你 DeepSeek 为何这么牛！ 推广 • Devis • Mar 7, 2025 • Lastly replied by vcfger | 4 |
 |
Grok3 推理和深度搜索调研功能已经推送了，收集一些大家的经典问题来做测试 分享发现 • Liftman • Feb 20, 2025 • Lastly replied by Liftman | 6 |
 |
秘塔 AI 接入**满血版**DeepSeek R1 推理模型 分享创造 • minkerui • Feb 10, 2025 • Lastly replied by tycholiu | 1 |
 |
用树莓派跑了一下 deepseek 分享发现 • leconio • Feb 4, 2025 • Lastly replied by siyushin | 9 |
 |
老黄新出的这台设备有点意思，感觉目前实验室、小公司本地部署推理模型的最优解了 硬件 • yishibakaien • Jan 9, 2025 • Lastly replied by HelixG | 24 |
 |
三千预算本地 70b 大模型
33 Local LLM • nlzy • Jan 6, 2025 • Lastly replied by bash99
|
60 |
 |
如何评价 OpenAI 的 o3? OpenAI • kdbtg91 • May 22, 2025 • Lastly replied by lhggame | 26 |
 |
NPU 能否成为端侧推理的主流？ 问与答 • Takizawa • Dec 3, 2024 • Lastly replied by flynaj | 2 |
 |
GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models 程序员 • OliverDD • Oct 31, 2024 |
 |
LLM 的长文本的复杂推理优化问题 OpenAI • teli • Sep 14, 2024 • Lastly replied by TimePPT | 3 |
 |
OpenAI 的 o1 模型： o1-preview 和 o1-mini 来了，草莓是内部的称呼， o1 才是正式名称。 OpenAI • zxx0102 • Sep 13, 2024 • Lastly replied by Vegetable | 1 |
 |
mac mini 24g 大模型推理怎么样 Local LLM • ChipWat • Aug 14, 2024 • Lastly replied by xing7673 | 27 |
 |
喜欢罪案推理小说的朋友看过来
6 分享创造 • AGreyGhost • Aug 21, 2024 • Lastly replied by AGreyGhost
|
98 |
 |
Claude Sonnet 和 GPT‑4o 自用下来，你们觉得哪个更值得付费？ OpenAI • daodao • Jul 31, 2024 • Lastly replied by taotaodaddy | 23 |
 |
本地跑 sd 和 local llm 推理, 什么显卡性价比最高？ Local LLM • cinlen • Jul 1, 2024 • Lastly replied by crackidz | 38 |
 |
要不要拥抱大模型推理，求点醒 职场话题 • songlinliee • Mar 20, 2025 • Lastly replied by Ethkuil | 15 |
 |
Al 可以推理 AES 算法？？ 程序员 • onlyApple • May 17, 2024 • Lastly replied by proxychains | 46 |
 |
gpt-4o 和 gpt4 哪个推理更强 OpenAI • gitxuzan • May 15, 2024 • Lastly replied by mewking | 5 |
 |
Windows、 Linux 平台支持类似于 apple M 系列芯片的 Unified Memory Architecture(UMA)架构吗, AI 模型跑不起来...
1 问与答 • wwwuser • Apr 25, 2024 • Lastly replied by mortal
|
5 |
 |
[3body lang] 清明写了三天 🤔 v0.6.0 发布啦 - 支持 LLM 本地推理 分享创造 • melovto • Apr 12, 2024 • Lastly replied by melovto | 2 |
 |
想用手头的硬件最低成本尝试下本地 LLM 推理，请教一下方案 Local LLM • avalox • Mar 31, 2024 • Lastly replied by GeekGao | 15 |
 |
Air M3 24G 能不能跑不量化的 7B 本地大模型推理？
1 Local LLM • CatCode • Mar 29, 2024 • Lastly replied by ozOGen
|
14 |
 |
开发了一个完全浏览器端运行的背景移除应用
1 分享创造 • rawk • Mar 9, 2024 • Lastly replied by easyalarm
|
17 |
 |
有哪些 Deepfake 推理实现？ 问与答 • Leon6868 • Feb 27, 2024 • Lastly replied by sujin190 | 3 |
 |
重温康波理论 生活 • azure2024us • Feb 22, 2024 • Lastly replied by fridaycatye | 22 |
 |
[上海][全职] 二次元 AIGC 创业公司 - 算法工程师 酷工作 • tzwm • Feb 12, 2024 • Lastly replied by mqx | 6 |
 |
都啥年代了, 还在炒啥前端, 都给我学 AI 程序员 • iorilu • Jan 8, 2024 • Lastly replied by shinsekai | 7 |
 |
奇怪的问题，在模型推理间加入间隔导致 CPU 使用率异常的高 Python • chinabrowser • Dec 22, 2023 • Lastly replied by chinabrowser | 3 |
 |
照片动漫化-利用本地设备进行模型推理 分享创造 • flowbamboo • Dec 15, 2023 • Lastly replied by sub166 | 1 |
 |
再论通用人工智能（AGI）可行性 随想 • trungdieu031 • Dec 15, 2023 • Lastly replied by metalvest | 8 |
 |
[LLM] 有哪位大佬指点下如何在 cpu 上分布式推理 程序员 • rizon • Nov 20, 2023 • Lastly replied by t133 | 8 |
 |
分享自己开发的网页版扫雷 分享创造 • yqianjiang • Nov 24, 2024 • Lastly replied by xuelang | 16 |
 |
关于 openai 流请求中断后， ai 推理是立即结束吗 OpenAI • alanhe421 • Nov 1, 2023 • Lastly replied by alanhe421 | 1 |
 |
现在像 7B/13B 这类大模型，推理加速用的什么框架？ 机器学习 • Auston • Oct 11, 2023 • Lastly replied by 1311317 | 6 |
 |
C++libtorch 多线程多 GPU 推理问题 C++ • justou • Jul 17, 2024 • Lastly replied by justou | 4 |
 |
如果你不把大语言模型 LLM 当人看，那也不会得到好的回报 OpenAI • netty • Sep 1, 2023 • Lastly replied by xhs328 | 1 |
 |
[北京]推理优化相关职位招聘（关键词 CUDA/Triton/trt/量化/压缩/蒸馏） 酷工作 • troycheng • Aug 10, 2023 • Lastly replied by tsubin | 3 |
 |
找开源推理模型部署（外包） 酷工作 • weber999 • Jul 27, 2023 |
 |
请教各位，做一个软硬件系统都需要配合什么开发板呢？有什么方案吗？ 全球工单系统 • Dreamerwwr • Jul 3, 2023 • Lastly replied by JG | 1 |
|
请教各位，做一个软硬件系统都需要配合什么开发板？ 分享创造 • Dreamerwwr • Jul 4, 2023 • Lastly replied by ryan4yin | 8 |
 |
求老哥们推荐 CUAN 一个主机，主要用来 StableDiffusion 推理绘画 问与答 • milukun • Jun 16, 2023 • Lastly replied by spike2017 | 10 |
|
各位，请教一下，目标检测模型应该部署在什么地方呢？有什么方案呢？ 程序员 • Dreamerwwr • Jun 12, 2023 • Lastly replied by Dreamerwwr | 3 |
|
各位，请假下，目标检测模型应该部署在什么地方呢？有什么方案呢？ 程序员 • Dreamerwwr • Jun 10, 2023 • Lastly replied by nobody2022 | 4 |
 |
求一套做大语言模型推理的机器配置 问与答 • jingsam • May 30, 2023 • Lastly replied by jingsam | 6 |
Select Language