Builders&Breakers | Building Hackbots: Models, Harnesses and Human Expertise with Hamid Kashfi

播客定位与嘉宾：本期是 Builders & Breakers 首期录制（主持人 Stuck、Coug，研究合作伙伴 Senity）。主题锁定"进攻性安全进入黑客机器人时代"。主持人对 Hamid 的评价极高，称其为当下最好的安全研究员之一。

"漏洞末日"之问：公共 CVE 与私人囤积漏洞双双激增（bug-mageddon），主持人抛出本期核心问题——黑客机器人时代会不会把漏洞潮演变成数据泄露灾难？漏洞与数据泄露之间是否必然关联？

Hamid 的能力公式（本期理论基石）：

• 过去：更依赖人，工具由人开发，上限取决于写工具的人的技能与经验。
• 现在：出现一种能自我改进、自我衍生子工具的强大工具（LLM），但仍由人驱动。
• 证据一：大家用同样的模型、同样的供应商、几乎相同的构建模块，却在同一代码库中挖出完全不同的漏洞。
• 证据二：同一代码库（例如 EngineX）、同样都是经验丰富的经典漏洞猎人，却各自发现 12 个不同的严重漏洞。
• 结论：差异既不完全来自模型（模型相同），也不完全来自人（人都资深），而来自"如何运用工具"——这正是本期标题中 Models / Harnesses / Human Expertise 三要素的引入。

时间线与个体经验：Hamid 提醒这类话题"科幻与现实混合"，6 个月后结论就会过时；他自己用 LLM 找 bug 近 3 年，但真正的转折点约在 6 个月前（New Year's Eve 前后）——模型开始真正擅长发现与利用漏洞，行业进入加速阶段：LLM 做繁重工作，人做驱动。

工厂框架：主持人提议按"工厂"解剖 Hackbot：侦察工厂 → 漏洞利用工厂（后续还有更多环节）。

侦察工厂的今昔：

• 旧模式：写 Go/Python 脚本或应用，行为持续确定，通过大量分布式 Droplets 跑规模化扫描。
• 新模式：在本机跑最高订阅额度的模型，或构建本地模型集群；模型持续运行、投喂数据、自己做决定、甚至代写报告——人退到"审读一切"的位置。数据收集与获取已极其容易。
• 保留判断：即便数据唾手可得，人仍要能说出"这里有一个漏洞（v）"——即人工确认环节不可省。

版本指纹的价值：能确定目标 Web 应用所用框架的版本，就能让下游工厂产出更好的结果——侦察的产出质量直接决定利用阶段的天花板。

漏洞利用工厂的今昔：过去靠人工消化网络信息、逐步细致分析；现在可以指示模型"花几天做侦察收数据"，回来直接得到"他们在用 X，这很有意思"的结论，帮助快速理解问题范围。

被牺牲的深度：Hamid 指出一个被忽视的代价——长时间人工追逐目标获得的直觉（"感觉某些地方不对劲"）正在消失，因为你只是信任系统给出的"完整输出"并拼接结论。主持人接话：AI 的结构性问题始终是记忆，它记性差。补救方案：

1. 从小养成写笔记的习惯（便签 → 结构化记录）；
2. 用 Obsidian 类工具记录渗透/赏金过程中的观察，供日后回看；
3. 用模型复盘记录，判断哪条路线 ROI 最高——"每项投资都有回报率，token 就是货币"。

旧范式回顾：为让 LLM 达成目标（发现漏洞/寻找目标），过去的标准做法是搭建测试框架：LLM 调度大量确定性工具与脚本（运行 nmap、静态分析、用 Ghidra 做逆向、跑常用重复任务），收集结果再分析得到预期/非预期输出。逻辑是：约束越死 → token 越省 → 结果越可预测。

基准测试的颠覆性发现：Hamid 在做内部基准与实验，结论是"不应再强制和限制模型如何执行任务"：

• 实验设计：代码库中埋约 100 个已知漏洞来度量 Hackbot 的召回。
• 三代前的 SOTA 模型：强制工具清单+明确步骤的方法表现良好（旧模型能找到约 90 个）。
• 最新模型（GPT-5.6、Sonnet 等）：重复同样的强约束场景，产出数量更少、结果集不同、质量低于预期。

"过时"警告（本段金句）：如果做 LLM 黑客（为赚钱或为生意）仍沿用两年前相同的框架、代码库和结构——"你将会过时……你可能根本不会注意到发生了什么：你觉得别人都找到了好东西而你找不到，你以为技能退步了。现实是你的 harness 没有跟上模型发展的速度。"有时甚至必须从头重建，因为两年搭建的东西可能已不匹配最新模型的功能或其内存/记忆跟踪方式。

确定性的微妙界限：放松约束 ≠ 放任不管。模型本质非确定（同题同配方 100 次得 99 种结果），想要大规模、可预测、可靠，就要在框架构建、提示设计、结果监控与捕获、轨迹审计上更下功夫。家用一次性项目 vs 规模化生产是完全不同的命题，用例与规模决定一切变量。

护栏与飞轮：讨论从"给某事设护栏"延伸：扫描互联网类任务可以放开（能检测到目标即可），但 Hackbot 需要另一个"飞轮"——能模仿目标环境、通过逆向补丁或找 0day 自由确认利用可能性。

在家（自由世界）：

• 想出主意就敲键盘，出错就还原测试 VM 快照，重来即可；时间充裕（除非宝宝早上 5 点把你叫走）。
• 不用向任何人负责，防护措施有限——但这里的"护栏"不是 LLM 政策护栏，而是目标纪律：目标是 x.com 就绝不能让模型转向 z.com（超出赏金范围 → 即使做成了也拿不到钱）。
• 组件纪律：在无市场需求的组件里发现漏洞同样意味着没有收入。东西坏了自己修，最坏按电源重启。

在企业/客户环境（受限世界）：

• 偏离申请表上的工作范围，客户立刻打电话投诉："你的模型在戳别的东西？"
• 破坏性事故："你的模型把我们的产品网站搞垮了。"
• 审计黑洞：模型成功利用漏洞、上传了 web shell 又删除，但最终报告没有任何已确认漏洞——客户看到了过程却没看到结论。
• 观察与确认高度依赖人脑（除非外包给经理/机器人老板）；非确定性让"重复 5 次 = 5 个结果"，不留对比笔记（diff notes）就会丢失实际确认过的发现。
• 新颖路径漏报：模型自创方法达到同样结果时，为旧偏差调校的监测/解释体系无法识别，最终错过成果。
• 企业必须考虑：成本、客户负担、可用性、枯燥的政策合规、以及各级模型护栏——子代理执行中可能撞上 Opus/GPT 的护栏（启动者意想不到），若没有确定性的检测/重试/复现工具，该子代理及其结果基本无声消失。
• 高空俯瞰全是"小问题"，每一个都可能毁掉结果；所有环节必须完美配合，才能以 SaaS/"LLM 即服务"的商业模式交付。

两个量化判断：

1. "90% 的创业者（或把 LLM 视为商业服务方式的人）没有在脑海中考虑这些细节。"Hamid 自曝也犯过：以为家庭实验室里完美运行的提示词打包出售即可——很快出大事，因为该方法无法扩展、不可靠；人们低估了企业级 LLM 安全服务背后的工程投入。
2. 点题金句："即使是目前的模型，也只有 20% 是模型，80% 是利用模型的 harness。"因为大家都在用大致相同的模型（少数公司有更高权限/更少限制的版本，但忽略这点，几乎所有人都在用公众可得的 3-5 个模型之一），代码库也几乎被所有团队反复审计过——结果却天差地别。WordPress 核心组件的 RCE（原话：quick easy RC，R 最终变成 RC）就是明证：所有人都以为"最新模型审计过=没问题"，仍有人挖出了快速简便的 RCE。

问题定性：漏洞是否有尽头不是玄学问题，而是统计学与科学测量问题。

乐观论与其反驳：不少从业者（包括 Hamid 的朋友）认为模型变强后所有脆弱点终将被发现并修复，行业"恢复正常"。Hamid 明确不同意，理由如下。

漏洞持续涌现的三个因素 + 一个增量：

1. 人为因素始终重要（详见章节 8）。
2. LLM 生成代码的缺陷率：Code White 白皮书（去年发布，按 LLM 领域速度已算"远古"）指出 LLM 助手/IDE 生成的代码约 60%-70% 存在漏洞。这直接违背"用你的代码编写代码、同一模型能发现漏洞因此不该写出漏洞代码"的直觉。Hamid 判断该比例会下降但永不为零——"只要不为零，我们就还在营业"（安全研究者的饭碗还在）。
3. 代码的动态性：静态代码库会收敛——哪怕通过人工/模型逐步开发引入了 5%-7% 的变更，对固定的静态代码你最终能发现几乎所有有趣的 bug；但现实世界所有代码都是动态的，每周甚至每天都在更新，每次变更都有一定概率（约 5%-10%，Hamid 自注是凭印象的数字）引入新漏洞——漏洞涌现因此永不停止。
4. 新漏洞类型（增量）：模型如今已强大到能发现"新的漏洞类型"而非仅仅新漏洞实例。这类探索目前少见、但极其有趣；黑帽大会上已有相关研究发表，Hamid 相信这趋势会持续。

身份变迁史（Coug 博客）：这个行业的人过去像罪犯一样使用黑客技术，然后变成渗透测试员，然后成了英雄；这是一份梦寐以求的、干净整洁的工作，做大量很酷的研究。然后"突然间脚下那块地就被撕裂了"——模型做事比我们好得多，"现在我们都变成了建设者"：必须建造装备（harness），把多年积累的经验叠加模型运用到全新的研究上，使自己比以往任何时候都更有能力。

情感的两面：

• Hamid：既谦卑又恼火——为自己没看到的事情谦卑，为把时间浪费在无意义的事情上恼火；被迫当中层经理般恼火，但如今上班更多感到谦卑。
• 同侪：回顾错过的东西惭愧，但因好奇尝试新事物而过得开心，研究清单没完没了。

药片变糖果：有些待办事项当初写下时根本没有能力做到——需要成为非常优秀的逆向工程师、需要对专有协议底层原理的极深理解，可能要花数月逆向才能弄明白；那些"曾经难以下咽的药片现在都变成了糖果，可以吞咽、食用并享受"。这是 Hamid 加入 Expo 的原因之一：把爱好变成工作。

十倍黑客与窗口期："10 倍开发者"在 vibe coding 时代变成一个梗——"现在我们都是十倍黑客"，因为人人都有想做的事，只是没时间、没预算或没技能。坦白承认自己不擅长某件事完全OK（不是人人都能样样精通专家级）。现在能力在手中，Hamid 称之为千载难逢的良机——因为这时期不会持续太久：或许一两年、三年后增长曲线趋平、市场饱和。趁黄金时期充分利用积累已久的兴趣爱好。

案例一：2000 篇论文的网络战研究：

• 背景：Hamid 除了技术侧研究，还长期从中东/伊朗视角监控威胁行为者与网络靶场（收发攻击程序），研究网络战的发生方式与原因、政治因素、各国如何成为网络强国或目标。
• 难题：设想的一项研究需阅读理解 2000+ 篇论文与资料、做笔记、得出结论——人工需约两年全职，且即使大脑能处理、Obsidian 能存下所有细节与分支，也未必能得出结果。
• 破局：几周前决定"这是烧 token 的好任务"（原音 Soul Ultra，旗舰模型），只用四五天处理完全部内容。"我知道这会发生，但这对我仍是非常重要的时刻。"
• 引申：心中遥不可及的大目标现在触手可及——"你只需把它提示掉"。你不再能以"没时间/做不到/太复杂"为借口，哪怕刚入行也能立刻行动。

案例二：护栏加固的人机循环（同侪实践）：

• 岗位即"搭护栏"：拆解模型、研究"笼子"，用代理（agent）与类似方案加固。
• 循环：搭建完整测试平台→运行评估→发现绕过（"哦，你绕过了这个步骤。完美。"）→即时写出硬化规则→重跑→一遍遍重复→时不时生成报告供人审阅。
• 经验注入：把 20 多年行业经验与建立的整套咨询基础设施告诉模型——"因为他们不知道该问什么"。形态是人工驱动+完全自动化结合：模型疯狂生成报告，人做判断与批评（"嘿，或许我们也可以这样做""你能帮我试试吗？你能尝试绕过这一步吗？"）。

医疗类比：提问资格的价值：一项关于 LLM 自我诊断的医疗研究显示：医生/受过教育者用既定医学术语与方法论提问（"是否患有这种特定疾病"而非普通人式的"我是否患有癌症"），对同一份实验室报告可获得提升 70% 的更准确诊断。这个规律同样适用于安全领域——会用领域术语与方法提问，正是专业经验未被替代的部分。（Hamid 亦在 Farsy 的近期视频中谈及）

"还需要学编程吗"：Hamid 明确否定"任何人都能成为黑客/安全专家"的说法：如果你没有 20 年经验、没用人工方式解决过这些难题，你就不知道该问什么问题、不知道该问什么正确的问题、不知道该查看组件/软件/架构/威胁模型的哪个正确部分。"这就是人为因素所在，是人类依然能够大放异彩和脱颖而出的地方。"

老手直觉 vs 裸提示：

• 老手：看到软件或听人描述产品，即使不看代码、不实际操作，脑中立刻浮现该实现中最可能藏漏洞的五个关键组件、开发人员偷懒的地方、可挖解析器漏洞的位置。
• 裸提示（"找出你认为关键/有趣的漏洞"）：或许能找到一些东西、或许有好东西甚至 RCE，但大部分不是深度漏洞，而且都是其他人已经找到过的。

深层方法论（先建上下文，再挖洞）：

1. 拿到软件栈后，不让模型直接找洞。
2. 让模型为被测目标所用的任何协议/堆栈/客户端编写一个兼容的代理软件协议客户端或协议解析器——此阶段完全不问任何安全问题。
3. 验证该客户端/解析器真的有效。
4. 完成之后才下令："现在去找漏洞吧。"

• 效果：与随意尝试得到完全不同的结果——深洞来自先建立的协议级上下文。

戴尔显示器案例（方法论全程演示）：

• 起点（生活需求）：姐姐姐夫送 Stream Deck 作生日礼物，空按钮太多想填满 → 插件不够用陷入死胡同；又因有线连接多台显示器与系统，想轻松切换且不想用戴尔官方的糟糕软件（画中画、KVM 等）。
• 中期：不仅实现了想要的功能，有些功能连戴尔标准软件都没有——是未公开的固件功能；过程中注意到它调出并反转了通过 USB/DisplayPort 控制显示器的协议。
• 深入：既然协议已明，想修改显示器固件 → 遇到硬件层完整性保护与认证 → 研究"有没有办法绕过？"→ 有——"剩下的你就能想象了。"
• 结论：如果一开始就把显示器扔给模型"找漏洞"，它不太可能找到这些洞——因为没在一开始问对问题、没建立发现这些好 bug 必需的背景信息；除非重复上千次迭代，模型不会自行朝那个方向发展。

首尾呼应的自由与资格：给模型更多自由、不做特别指导，它们反而更聪明（呼应 15:52 的"放松结构"）；而评估（evals）本质上是对代理的吹毛求疵——当你有资格质疑评估结果时，你实际在引导结果走向（呼应医疗研究的提问资格）。

上下文即攻击点：构建上下文窗口做良性的事情意味着理解事物全貌——如同探索模糊测试树（fuzzing tree）：所有可行选择都在眼前、协议已看过且掌握——"某种意义上这就是完美的攻击点"。

约束与止损的实战：

• 域名原地流式替换：规定无论发生什么都不许离开作用域；任何通过间接提示注入等方式漂移出的域都会被替换为作用域内内容或一个金丝雀（canary）——据此可知模型何时偏航。
• mailto 止损：模型在 HTTP 场景花了"海量时间"死磕 mailto——但 mailto 需在浏览器中点击、再打开网页或邮件客户端，不会间接弹出，可利用性极低。理解实际风险等级后，人才有资格说"别掉进这个兔子洞，别待太久，别理会它，改做这个"。
• 同侪案例：Coug 用同样思路在老式大型打印机上实现了 PDF 打印——为解决一个官方已放弃的问题而构建新框架。

身份二元性：以前可以靠"身怀绝技"炫耀，现在模型拥有各种高超技能——"我不想成为它产出的傀儡"；它既迫使我质疑事物，又迫使我在另一些方面信任过程。"我很享受不会被取代的感觉，但我对此表示质疑"——目睹 Atlas、Fable（原音辨识存疑）等项目的规模与速度、能力越来越强，unhinged（放飞）与 distilled（蒸馏精简）模型并存、周围发生的事多到几乎不可能全部跟上；对模型的一个小小调整就能开辟全新的应用领域。

愿望清单（对 Hamid 的最终提问）：

1. 开放模型真正赶上前沿模型、变得更加易获取——强大模型的民主化将帮助所有人。把强大模型锁在可信访问列表或特殊程序后（只有特定客户/公司被信任）是短期策略、"不会长久"：正如 6 个月前被疯狂炒作的 Mythos（原音），现在人人都能在自家地下室运行，很快也能跑在 MacBook 上。Hamid 本人正在 MacBook 上跑 GLM 5 / GLM 5.3 的量化版——"我们还没到，但已接近，按当前速度很快实现"。
2. 拆除愚蠢/不合理的护栏：并非所有护栏都愚蠢，但不合理者应消失。人们应逐渐接受"模型会做这些事"的事实——无论怎么限制模型、限制人员、限制硬件或模型访问，这种事都会发生。"与其把精力浪费在限制一些你知道不会持久的东西上，不如为未来做好计划。"

收官：感谢嘉宾；这是 Builders & Breakers 播客首播。节目组每年至少举办两次 Builders & Breakers 线下活动，把一群非常聪明的人聚在一起进行坦诚而真实的对话——为那些以惊人速度建造与拆除的人们提供高速捷径，"因为如果有人在你之前走过这条路，沿着这条路走总是更容易的"。