工具调用与Python沙箱
定义
工具调用(tool use)是模型在生成文本的过程中输出一段带特殊定界符的中间表示,由外部运行时解析、执行并把结果写回上下文,模型再基于结果继续生成的过程。nanochat 的对话运行时只实现一种工具:计算器(calculator)。模型输出 <|python_start|> 与 <|python_end|> 之间的表达式,Engine 用 use_calculator 求值,再把 <|output_start|>结果<|output_end|> 作为强制 token 注入对话。Python 沙箱(Python sandbox)是另一条独立路径:nanochat/execution.py 把整段 Python 程序放进独立子进程执行,服务于 HumanEval 评测,而不是对话运行时。
符号与术语如下。
| 术语 | 含义 | ||||||||
|---|---|---|---|---|---|---|---|---|---|
| 工具 token | 词表中的特殊 token,共 4 个:`<\ | python_start\ | >、<\ | python_end\ | >、<\ | output_start\ | >、<\ | output_end\ | >` |
| 工具块 | `<\ | python_start\ | > 与 <\ | python_end\ | >` 之间的 token 序列 | ||||
| 强制 token(forced token) | 由运行时直接写入、而非从模型分布采样的 token;在 mask 中记为 0 | ||||||||
RowState | Engine 为每一行维护的生成状态,包含 forced_tokens 双端队列、in_python_block 布尔值与 python_expr_tokens 列表 | ||||||||
| rlimit | POSIX 的资源上限接口,resource.setrlimit 设置;nanochat 用 RLIMIT_AS、RLIMIT_DATA、RLIMIT_STACK | ||||||||
| SIGALRM | POSIX 定时信号,signal.alarm(seconds) 在到期时触发;use_calculator 用它限制表达式求值时间 |
为什么重要
工具调用解决的是「小模型的算术与程序执行不可靠」这一具体问题。d24 只有约 1.38B 参数,心算多位数乘法、精确统计字符串中某字符出现次数、执行一段递归代码,都不在它的稳定能力范围内。GSM8K 的原始答案用 <<表达式=结果>> 标注工具调用,tasks/gsm8k.py 把它拆成 python 与 python_output 两种分段,再由 render_conversation 渲染成 <|python_start|>、<|python_end|>、<|output_start|>、<|output_end|>。推理运行时负责把表达式真正算出来。若没有这条通路,模型只能凭参数记忆给出近似答案,错误率随数字位数上升;若运行时不做白名单,模型输出的任意表达式会被 eval 直接执行,等价于把主机交给一段由模型生成的字符串。
沙箱解决的是另一类问题:HumanEval 要求执行模型写出的完整 Python 程序,包括导入、函数定义与测试断言。这类程序不能交给计算器白名单处理,必须有一个能跑任意代码的执行器;而任意代码意味着进程、文件、内存与网络都可能被触碰。execution.py 的目标是「防意外破坏」而非「防恶意攻击」,这一区分决定了它在评测与生产中的不同用法。
在流水线中的位置:06 阶段的 SFT 数据决定模型会不会输出工具块,07 阶段的 RL 用同一套生成协议做 rollout,08 阶段用沙箱判 HumanEval,09 阶段把两者接到同一条推理路径上。在「懂原理、能复现、懂工程」三项中,本篇主要对应第三项:协议、状态机的分支条件、资源限制与安全边界都在这里汇合;第一项(为什么需要工具)与第二项(如何构造训练数据)分别由 06 的数据篇与本篇的协议小节承担。
原理与推导
1 对话协议中的工具 token
nanochat/tokenizer.py 的 SPECIAL_TOKENS 共有 9 个,按顺序为
SPECIAL_TOKENS = [
"<|bos|>",
"<|user_start|>", "<|user_end|>",
"<|assistant_start|>", "<|assistant_end|>",
"<|python_start|>", "<|python_end|>",
"<|output_start|>", "<|output_end|>",
]
前 5 个界定对话结构,后 4 个界定工具块与工具输出。render_conversation 把一条对话渲染成 ids 与 mask 两个等长列表,mask 为 1 表示该 token 参与损失。assistant 消息的 content 可以是字符串,也可以是分段列表;分段类型与 mask 的对应关系如下。
| 分段类型 | 渲染方式 | mask | ||||
|---|---|---|---|---|---|---|
text | 直接编码文本 | 1 | ||||
python | `<\ | python_start\ | > + 表达式 + <\ | python_end\ | >` | 1 |
python_output | `<\ | output_start\ | > + 结果 + <\ | output_end\ | >` | 0 |
关键设计是:工具输出整段 mask 为 0。输出由解释器在数据生成时产生,不由模型预测,因此模型不应为「猜中 Python 的 repr 格式」承担损失;但它仍然出现在上下文里,模型在后续位置可以读取它。python_start、python_end 与表达式本身 mask 为 1,模型要学会在合适的位置开启与关闭工具块。output_start 与 output_end 也 mask 为 0,意味着模型从不被要求生成这两个定界符;推理时它们由 Engine 强制注入。这一点常被误解为「模型自己写出输出定界符」,实际不是。
2 Engine.generate 的三态状态机
Engine.generate 的生成循环里,每一行除了「普通生成」之外还有两个由 RowState 表达的状态,合起来是三态。
普通态:in_python_block=False 且 forced_tokens 为空。每步按 sample_next_token 的结果写入采样 token,mask 记 1。
收集态:采样到 <|python_start|> 后 in_python_block=True,之后每个采样 token 追加到 python_expr_tokens。此状态不改变采样方式,只是多收集一份表达式。
强制态:采样到 <|python_end|> 且此前处于收集态时,关闭块、解码表达式、调用 use_calculator。若返回值不为 None,把 <|output_start|>、结果的 token、<|output_end|> 依次压入 forced_tokens。下一轮循环中,该行从队列弹出 token,token_masks 记 0,且不消耗采样值。队列可以跨多个生成步,因为结果可能由多个 token 组成。
状态转移可以写成下表。
| 当前状态 | 采样到 | 动作 | 下一状态 | ||||
|---|---|---|---|---|---|---|---|
| 普通 | `<\ | python_start\ | >` | in_python_block=True,清空表达式列表 | 收集 | ||
| 收集 | 普通 token | 追加到 python_expr_tokens | 收集 | ||||
| 收集 | `<\ | python_end\ | >` | 求值;成功则把输出块压入 forced_tokens | 强制(若成功)或普通 | ||
| 强制 | 队列非空 | 弹出队首作为 token,mask=0 | 强制或普通 | ||||
| 任意 | `<\ | assistant_end\ | > 或 <\ | bos\ | >` | completed=True | 完成 |
代码中的判定顺序值得注意:先检查终止 token 并设置 completed,再处理工具逻辑。因此若模型在工具块内直接输出 <|assistant_end|>,该行会被标记完成,in_python_block 保持为真但不再有实际影响。generate 没有对「未闭合的工具块」做超时或回退:该行会继续把后续 token 当作表达式内容,直到生成循环因所有行完成或 max_tokens 退出。这是实现上的一个空缺,生产环境应在协议层加最大块长度。
还有一处与批处理有关的细节:状态机对每一行独立执行,但采样是按整批进行的。某一行的 forced_tokens 非空时,该行本步不消耗采样值,其他行照常消耗;token_column 中的每个位置都对应一个实际写入的 token,token_masks 中的每个位置标明它是采样的还是强制的。这个 (token, mask) 对是下游 RL 与评测的唯一接口。
3 use_calculator 的白名单
use_calculator 不是通用 Python 求值器,而是两条受限路径。
第一条是纯算术路径。先把所有逗号删除(处理 1,234 这类千分位写法),再检查每个字符是否都在 0123456789*+-/.() 内。若通过,拒绝 **(幂运算可以构造 这类耗时或溢出的表达式),然后调用 eval_with_timeout。
第二条是字符串操作路径。允许字符集为字母、数字、单双引号、圆括号、点、下划线与空格;若出现集合外字符直接拒绝。随后按小写形式检查危险子串:__、import、exec、eval、compile、open、file、input、raw_input、globals、locals、vars、dir、getattr、setattr、delattr、hasattr。最后要求表达式包含 .count(,否则拒绝。也就是说,字符串路径当前只支持统计子串出现次数,其它方法一律不执行。
eval_with_timeout 的实现是
def eval_with_timeout(formula, max_time=3):
try:
with timeout(max_time, formula):
with warnings.catch_warnings():
warnings.simplefilter("ignore", SyntaxWarning)
return eval(formula, {"__builtins__": {}}, {})
except Exception as e:
signal.alarm(0)
return None
timeout 上下文管理器注册 SIGALRM 并在退出时取消。eval 的全局命名空间只有空 __builtins__,因此 len、print、__import__ 都不可用;但字符串字面量的方法调用不依赖 builtins,所以 'abc'.count('b') 仍可执行。白名单不是形式化的安全证明:'a'.upper().count('A') 能通过字符与子串检查并执行,只是它的能力被限制在字符串方法链上;'a'.__class__ 因包含 __ 被拒绝,'a'.format('b') 因不含 .count( 被拒绝。这个设计的目标是覆盖 GSM8K 里出现的表达式形态,而不是覆盖所有安全表达式。
时间限制依赖 POSIX 的 SIGALRM,有三个可移植性后果。第一,Windows 没有 signal.SIGALRM,timeout 一进入就抛 AttributeError;eval_with_timeout 的 except 又会调用同样不存在的 signal.alarm,异常直接逃逸。第二,signal.signal 只能在主线程注册;把 Engine.generate 放进线程池执行时,工具路径会抛 ValueError,被 except 吞掉并返回 None,表现为「计算器静默失效」。第三,SIGALRM 只中断 Python 字节码,若 eval 进入长时间的原生调用,信号要等调用返回才被处理。
4 execution.py 的隔离手段
execute_code 的隔离由七层构成。
进程隔离:每次执行启动一个新的 sys.executable -c program 子进程,父进程通过 subprocess.run 等待;超时由父进程杀死子进程。子进程不共享父进程的 Python 堆,因此读不到父进程内存中的检查点、密钥或对话历史。
解释器状态隔离:guard 先运行,然后执行 exec(compile(repr(code), '<llm>', 'exec'), {'__name__': '__main__'})。用户代码拿到全新的全局命名空间,看不到 guard 的导入;test_fresh_globals 用 print('GUARD' in dir()) 断言输出为 False。
环境隔离:env={"PATH": "/usr/bin:/bin"},不继承父进程环境变量;test_environment_is_scrubbed 在父进程设置 FAKE_SECRET_KEY 后断言子进程看不到它。
文件系统隔离:cwd 设为一个新建的 TemporaryDirectory,执行结束后删除;test_writes_go_to_tempdir 用相对路径写文件并断言父进程目录没有泄漏。注意这只是工作目录隔离,不是 chroot:绝对路径仍然可读写,open 也没有被禁用。
标准输入输出隔离:stdin=subprocess.DEVNULL,input() 立即遇到 EOF 并失败;stdout 与 stderr 被捕获,作为 ExecutionResult 的字段返回。
资源限制:guard 在非 macOS 平台设置 RLIMIT_AS、RLIMIT_DATA、RLIMIT_STACK 为 256 MB;macOS 上跳过。test_memory_limit 用 1 GB 的 bytearray 断言 memory_exceeded=True。faulthandler.disable() 关闭崩溃转储,OMP_NUM_THREADS=1 避免子进程再开线程池。
函数禁用:guard 把 os 的 kill、system、putenv、remove、removedirs、rmdir、fchdir、setuid、fork、forkpty、killpg、rename、renames、truncate、replace、unlink、fchmod、fchown、chmod、chown、chroot、lchflags、lchmod、lchown、getcwd、chdir 设为 None;把 shutil 的 rmtree、move、chown 设为 None;把 subprocess.Popen 设为 None;把 ipdb、joblib、resource、psutil、tkinter 在 sys.modules 中设为 None,使 import 失败。test_destructive_functions_disabled 用五个用例断言这些路径全部失败。
execute_code 返回 ExecutionResult,字段为 success、stdout、stderr、error、timeout、memory_exceeded。success 取 returncode == 0;error 取 traceback 最后一行;memory_exceeded 是 "MemoryError" in stderr 的字符串判断。这个判断可以被用户代码向 stderr 打印 MemoryError 触发,属于诊断字段而非安全字段。
5 不覆盖的部分
execution.py 的 docstring 明确列出四类未覆盖项:不是真正的安全沙箱、网络访问未阻断、Python 动态特性(如 ctypes)可以绕过限制、没有内核级隔离(无 seccomp、无容器、无虚拟化)。从代码还能补充几条具体边界。
| 能力 | 现状 | 依据 |
|---|---|---|
| 网络连接 | 可建立,socket 未禁用 | docstring 明示 |
ctypes 调用 libc | 可用,能重新获得 system、fork 等能力 | docstring 明示 |
| 绝对路径读写 | 可用,open 未禁用,临时目录只是 cwd | guard 未处理 open 与绝对路径 |
os.open 低层文件接口 | 未禁用 | guard 只列了高层函数 |
os._exit(0) | 可用,会立即以 0 退出,跳过后续测试 | guard 未把 _exit 设为 None |
| 子进程再派生 | 直接路径被禁;ctypes 路径可绕过 | subprocess.Popen=None,无 seccomp |
| 读取已安装包 | 可用,子进程复用父解释器与环境 | 未隔离 venv 或文件系统 |
| 内存限制 | Linux 生效,macOS 跳过,Windows 直接失败 | guard 的平台条件 |
os._exit(0) 这一条对评测完整性尤其重要:如果模型生成的程序在 HumanEval 测试运行前调用它,子进程返回 0,execute_code 报告 success=True,测试断言根本没执行。这说明沙箱的返回值只能作为「程序是否正常退出」的信号,不能作为「测试是否通过」的证明;HumanEval 的判据依赖测试代码本身被执行,而这一点在恶意或异常退出下没有保障。
6 HumanEval 如何复用它
tasks/humaneval.py 的 evaluate 把四段拼成一个程序:从题面抽取的 import、模型补全的代码、官方测试 test、以及 check(entry_point) 调用。拼接结果交给 execute_code(program),success = result.success。默认参数是 5 秒、256 MB,因此任何超时、内存超限或非零退出都判为失败。scripts/chat_eval.py 的 run_generative_eval 对每题生成 num_samples 条补全,用 any(outcomes) 聚合,默认 max_new_tokens=512、temperature=0.0、top_k=50。这意味着 HumanEval 的通过率同时受生成质量与沙箱预算影响:一段正确的程序可能因为 5 秒内跑不完官方测试而被判失败,也可能因为 256 MB 不够而被判失败。
7 生产中的加固
execution.py 适合「评测模型生成的代码」这一场景:代码通常来自模型,恶意概率低,主要风险是死循环、递归爆栈、误删文件与内存耗尽。生产环境若要把任意用户代码当作不可信输入,需要在内核边界上加层。
| 层 | 做法 | 挡住什么 |
|---|---|---|
| 进程与文件系统 | 容器或 microVM,只读根文件系统,/tmp 为限额 tmpfs,非 root 用户,no-new-privileges,drop 全部 capabilities | 绝对路径读写、提权、持久化 |
| 网络 | 独立 network namespace,默认无网卡;需要外网时只给白名单 egress 代理 | 数据外传、下载载荷、C2 |
| 系统调用 | seccomp 白名单,只允许解释器运行所需的 syscall;gVisor 或 Firecracker 提供更强隔离 | ctypes 绕过、os._exit 类副作用、内核攻击面 |
| 资源 | cgroup v2 限制 memory、cpu、pids;外部 watchdog 计时 | 内存炸弹、fork 炸弹、CPU 占用 |
| 审计 | 记录每次执行的代码哈希、退出码、耗时;采样保留 stdout/stderr | 事后追责与误判分析 |
| 部署位置 | 不与训练节点、密钥、检查点同机;独立用户与独立网络 | 横向移动 |
这些措施与 execution.py 的 guard 不冲突:guard 仍然负责快速失败与友好错误信息,内核层负责真正的边界。反过来,只加 guard 不加内核层,等于把安全性寄托在「攻击者不知道 ctypes」上。
在 nanochat 中的落地
| 位置 | 作用 | 关键细节 |
|---|---|---|
nanochat/tokenizer.py 的 SPECIAL_TOKENS、render_conversation | 定义工具 token 与训练 mask | 输出段 mask=0,工具块 mask=1 |
nanochat/engine.py 的 use_calculator、eval_with_timeout | 对话运行时求值 | 两条白名单路径,3 秒 SIGALRM |
nanochat/engine.py 的 RowState、Engine.generate | 三态状态机 | forced_tokens 双端队列,mask 记 0 |
nanochat/execution.py 的 GUARD、execute_code | 子进程沙箱 | 5 秒、256 MB、临时目录、环境清洗 |
tasks/humaneval.py 的 evaluate | 评测侧调用 | 拼接 import、补全、测试与 check() |
tests/test_execution.py | 沙箱回归测试 | 每个测试对抗性地验证一条性质 |
关键直觉
机制性直觉
沙箱的安全边界由内核提供的隔离面决定,而不由 Python 层把哪些名字设为
None决定。execution.py的 guard 提高的是「误操作的成本」:它让os.system、rmtree、Popen在普通代码里直接失败,从而避免模型生成的代码误删文件或起进程;它不改变「同一用户权限下可用的系统调用集合」,因此ctypes、socket、os._exit仍然可达。计算器的白名单则是另一种边界:它不依赖操作系统,而是把可执行的语法子集缩到「四则运算与.count()」,代价是覆盖范围窄。
这一直觉与严格定义的关系:execute_code 的 success 是「子进程返回 0」,use_calculator 的 None 是「白名单拒绝或求值异常」。两者都是观测值,不是安全证明;把观测值当成证明,是评测与生产中最常见的误用。
例子与代码
例 1:调用 execute_code
from nanochat.execution import execute_code
result = execute_code("print('hello world')")
print(result.success, repr(result.stdout), result.error)
# 预期(Linux):True 'hello world\n' None
bad = execute_code("1/0")
print(bad.success, bad.error)
# 预期:False 'ZeroDivisionError: division by zero'
ExecutionResult 是 dataclass,error 取 stderr 的最后一行,因此 ZeroDivisionError 能被稳定识别。若把第二段换成 while True: pass 并传入 timeout=2.0,返回的 timeout 为 True、success 为 False,父进程在 2 秒左右结束等待(测试断言耗时小于 5 秒)。若换成 x = bytearray(1024 1024 1024),在 Linux 上 memory_exceeded 为 True。
例 2:计算器白名单的判定
from nanochat.engine import use_calculator
cases = [
"2+3*4", # 14
"1,234+5", # 1239,逗号先被删除
"2**10", # None,幂运算被拒绝
"'strawberry'.count('r')", # 3
"'a'.upper().count('A')", # 1,方法链在白名单内
"open('x')", # None,危险子串
"__import__('os')", # None,危险子串
"9/0", # None,异常被吞掉
]
for expr in cases:
print(expr, "->", use_calculator(expr))
预期输出依次为 14、1239、None、3、1、None、None、None。这张表说明白名单既不是「只允许数字」,也不是「允许所有字符串方法」:逗号在判定前被删除,因此 1,234 与 1234 等价;** 在纯算术路径被单独拒绝;.count 是字符串路径唯一的入口。注意这段代码依赖 SIGALRM,在 Windows 上会在 eval 前抛 AttributeError,只能在 Linux 或 macOS 上按上述预期运行。
例 3:沙箱能挡住与挡不住的用例
| 用例 | 预期结果 | 依据 |
|---|---|---|
print('hello world') | 成功,stdout 精确匹配 | test_happy_path |
1/0 | 失败,错误含 ZeroDivisionError | test_exception_is_captured |
while True: pass | timeout=True,进程被杀 | test_timeout_kills_infinite_loop |
bytearray(1024**3) | 失败,memory_exceeded=True | test_memory_limit |
os.system('echo pwned') | 失败,os.system 为 None | test_destructive_functions_disabled |
shutil.rmtree('/tmp') | 失败,shutil.rmtree 为 None | 同上 |
subprocess.Popen(['ls']) | 失败,Popen 为 None | 同上 |
os.kill(1, 9)、os.fork() | 失败 | 同上 |
input() | 失败,stdin 为 DEVNULL | test_stdin_disabled |
相对路径写 landmine.txt | 成功,文件留在临时目录 | test_writes_go_to_tempdir |
| 父进程环境变量 | 子进程不可见 | test_environment_is_scrubbed |
绝对路径读 /etc/passwd | 成功(权限允许时) | guard 未禁用 open,按代码推断 |
socket 连接外网 | 成功(网络未阻断) | docstring 明示 |
ctypes.CDLL(None) | 成功,可绕过函数禁用 | docstring 明示 |
os._exit(0) | 成功返回 0,后续测试被跳过 | guard 未禁用 _exit,按代码推断 |
前四行是「挡得住」的典型:正常程序、异常、死循环与内存炸弹都在测试里被覆盖。最后四行是「挡不住」的典型:它们不需要复杂技巧,只需要 guard 没列出的接口。把这张表与 tests/test_execution.py 对照,可以看出一件事:测试覆盖的是「意外」,不是「对抗」。
例 4:guard 的核心片段
# 摘自 nanochat/execution.py 的 GUARD 模板(省略平台判断与部分函数名)
for name in ("kill", "system", "putenv", "remove", "removedirs", "rmdir", "fchdir",
"setuid", "fork", "forkpty", "killpg", "rename", "renames", "truncate",
"replace", "unlink", "fchmod", "fchown", "chmod", "chown", "chroot",
"lchflags", "lchmod", "lchown", "getcwd", "chdir"):
setattr(os, name, None)
for name in ("rmtree", "move", "chown"):
setattr(shutil, name, None)
subprocess.Popen = None
for name in ("ipdb", "joblib", "resource", "psutil", "tkinter"):
sys.modules[name] = None
这段代码在未信任代码执行之前运行,因此用户代码看到的是一个被改过的 os、shutil、subprocess 与 sys.modules。它没有删除模块,也没有替换 builtins.open;这正是「绝对路径可读写」与「ctypes 可绕过」两条边界的来源。把它理解为「减少误操作的补丁」而不是「权限模型」,就不会高估它的防护能力。
易错点
常见错误
1. 把计算器当成 Python 执行器。
use_calculator只接受四则运算与.count(),import、变量赋值、函数定义全部被拒绝;对话运行时也不会调用execution.py。需要执行完整程序的是 HumanEval 评测路径,不是chat_cli。2. 认为模型会自己生成
<|output_start|>与<|output_end|>,或把强制 token 当采样 token 计入损失。SFT 渲染把输出段的 mask 设为 0,推理时由Engine强制注入;token_masks中 0 表示强制、1 表示采样,混用这两个语义会把运行时注入的结果当成模型预测。3. 在非主线程调用工具链。
signal.signal只能注册在主线程,线程池中的use_calculator会静默返回None,表现为「模型算了但没输出」。Web 服务若把Engine.generate放进线程池,必须接受这一限制或改用进程级隔离。4. 认为
execute_code的success等于测试通过。success只是returncode == 0;os._exit(0)或提前sys.exit(0)都会让它为真而测试未执行。HumanEval 的判据必须依赖测试代码实际运行,生产评测应把「无输出却成功」标为可疑。5. 忽略平台差异。Windows 上 guard 的
import resource直接失败,execute_code永远返回失败;macOS 跳过 rlimit,内存限制不生效;SIGALRM在 Windows 不存在。tests/test_execution.py的事实基准是 Linux。6. 把临时目录当成文件系统隔离。
cwd只影响相对路径,open('/etc/passwd')与open('/tmp/x', 'w')仍然可用;TemporaryDirectory只保证相对路径的写入会被清理。
关联笔记
- 前置:自回归解码与prefill-decode —— 工具状态机嵌在 decode 循环里,
token_column与token_masks的协议由该篇定义。 - 对照:GSM8K与HumanEval —— 08 阶段讲评测协议与判分,本篇讲运行时如何执行;HumanEval 的沙箱参数与失败模式在两篇中分工不同。
- 后续:CLI与WebUI —— CLI 直接暴露工具路径,Web 服务必须处理并发、线程与安全边界。
- 跨库:AI-Agent与工具调用 —— 通用工具调用协议、函数调用与 ReAct 循环见该篇,本篇只讲 nanochat 的定界符状态机。
- 跨库:越狱与安全对齐 —— 提示注入与工具滥用的对齐侧讨论见该篇,本篇只讨论运行时的资源与权限边界。
达标检测
- [ ] 能列出 9 个特殊 token,并说明哪 4 个属于工具协议、哪些在 SFT 中 mask=0。
- [ ] 能画出三态状态机,写出每个状态在采样到
<|python_start|>、<|python_end|>、<|assistant_end|>时的转移。 - [ ] 能说明
use_calculator两条路径的字符集、危险子串与.count(要求,并解释为什么拒绝**。 - [ ] 能解释
eval_with_timeout为什么用{"__builtins__": {}},以及它在非主线程与 Windows 上的失败方式。 - [ ] 能复述
execute_code的七层隔离,并指出其中哪几层只是「防意外」而不是「防对抗」。 - [ ] 能写出至少四条「沙箱挡不住」的用例,并说明各自绕过了哪一条 guard。
- [ ] 能解释 HumanEval 的
success判据与any(outcomes)聚合,指出max_new_tokens=512与 5 秒超时对通过率的影响方向。 - [ ] 能给出生产加固的三层方案(容器/网络/seccomp),并说明为什么 guard 仍然需要保留。
参考来源
- Chen et al., Evaluating Large Language Models Trained on Code, arXiv:2107.03374 —— HumanEval 的任务格式、执行判分与
human-eval沙箱的原始设计,对应本篇第 6 节。 - Karpathy, nanochat(commit 92d63d4),
nanochat/engine.py、nanochat/execution.py、nanochat/tokenizer.py、tasks/humaneval.py、tests/test_execution.py—— 本篇全部函数名、白名单、guard 与测试用例的事实来源。 - Python 文档, resource — Resource usage information(
RLIMIT_AS、RLIMIT_DATA、RLIMIT_STACK)—— 对应 256 MB 内存限制的实现。 - Python 文档, signal — Set handlers for asynchronous events(
SIGALRM、signal.alarm、主线程限制)—— 对应计算器 3 秒超时与线程池失效的机制。 - Python 文档, subprocess — Subprocess management(
timeout、DEVNULL、capture_output)—— 对应 5 秒超时、stdin 关闭与输出捕获。