企業 AI OCR 高並發實戰:從爆掉到穩定,vLLM 才是能上線的那個

環境與模型 硬體:NVIDIA GB10 模型:Qwen 3.6 27B(Q4_K_M 量化) 推理引擎實測結論 引擎 結果 vLLM ✅ 多人同時連線 8 線、16 線都撐得住——唯一通過考驗 SGLang 理論上更強,但 demo 和實際上線是兩回事,實戰未驗證 Ollama 很快掛掉,必須自己建 queue 排隊處理 LM Studio 單人測試正常,多人一測就爆,試多次都爆 測試過程 一開始放棄 Ollama,改用 LM Studio 先測 OCR:找到可用模型、設定正確的 threads 寫一個循環 Windows script,上網抓發票、表格圖片至少二、三十張 打到 LM Studio API,一張一張跑,單人全部正常 打包給 MIS 相關人員與預使用人員同時測試 → 多人一測,LM Studio 直接爆掉(試多次都爆) 改用 vLLM 版本 → 不再爆 改成無限循環版本(打開就一直送不停),單一 PC 開 4 線、8 線,從週五下班跑到週一早上 → 完全正常,辨識也正確 只有這樣才證明撐得過高峰並發多人使用,這才是企業內真正的實際運用。 應用場景 會計大量作帳、內部文件 OCR:不定時、大量文件 未來:現場設定即時不斷辨識,壓力更大——每 1 分鐘跑一次;30~50 台設備同時上線,沒有高並發直接爆 文件類型 客戶報價單、公司報價單回填、材料相關表格 MES / WMS / SCM 相關文件、產生履歷文件(目標:減少打字時間) 跟發票這種千奇百怪的類型不同:手寫單據、出場、驗收——人寫的,這些真的要靠 AI 高並發 真實場景 一車來三櫃驗收單,一次來二十車,不同廠區同時運作

2026-08-02 · 1 min · 83 words · Me

老闆想用AI裁員?現實是Agent幹活,人類背鍋!(Box創始人)

「算力女粉絲」頻道分享 Box 創辦人 Aaron Levie 對 AI 裁員議題的看法。 重點整理 AI 能自動化中間很多步驟,但很難獨立承擔完整責任——事情的開始與結尾仍然需要人 Agent 越多,人類越要背鍋:AI Agent 進入企業流程後,出錯時負責的還是人,人類從執行者變成要為 AI 流程失誤負責的角色 AI 改變的是技能,不是整個職位:真正被改變的往往不是職位突然消失,而是職位需要的技能被自動化 為什麼 AI 寫程式很強,企業還是不滿意:企業要的不是更多程式碼,而是可以運行、維護、審計並承擔責任的系統 現實決策仍需要人:AI 會改變工作、縮編部分職位,但關鍵決策與責任歸屬短期內離不開人 影片章節 03:41 軟體工程師的失業焦慮 04:38 Agent 進入企業流程,風險在哪裡 05:35 Agent 越多,人越要負責 07:07 AI 裁員應該怎麼看 08:12 哪些工作最容易被 AI 縮編 08:42 為什麼現實決策仍然需要人 影片連結:https://www.youtube.com/watch?v=kMo5512mm5k

2026-06-03 · 1 min · 43 words · Me

AI 裁員已徹底反噬,證據如下(中配)

Bilibili 中配版,原片為 Tech With Soleyman《AI Layoffs Have Completely Backfired (here’s the proof)》(2026-04-04)。 重點整理 數據面:引用高德納、弗雷斯特、麥肯錫三家機構的調研,企業用 AI 裁員普遍未達預期效果 亞馬遜案例:強制要求工程師使用 AI 工具並納入考核後,發生多次大規模生產故障、損失數百萬訂單,最後被迫重啟嚴格安全審核 失敗核心原因:流程治理缺失、資深工程師被裁造成經驗斷層、AI 與複雜生產場景適配度不足——本質是企業營運決策失誤,而非 AI 已能完全替代工程師 企業堅持裁員的真實動機:撐股價、為 AI 基礎設施騰資金、維護 CEO 形象、仿效馬斯克裁員降本模式;數據顯示僅不到 5% 的裁員真正與 AI 替代能力相關 給技術從業者的建議:成為具全局視野的系統思考者、把 AI 當輔助工具但不依賴、掌握雲工程核心技能——雲人才缺口仍巨大 影片連結:https://www.bilibili.com/video/BV1i1RLBuEPC

2026-05-02 · 1 min · 36 words · Me