SIREN: Towards End-to-End Extreme-Weather Early Warning with Experience-Grounded LLM Agents

Status: completed

Authors: Hang Ni, Weijia Zhang, Fan Liu, Mengqian Lu, Hao Liu

Venue / Year: arXiv preprint, 2026 (v1, 2026-07-27；正式投稿 venue 未公开)

Affiliations: The Hong Kong University of Science and Technology (Guangzhou); The Hong Kong University of Science and Technology; Otto Poon Center for Climate Resilience and Sustainability

Links: arXiv · PDF · HTML · 作者给出的匿名仓库

Tags: [[LLM agent]], [[extreme weather]], [[early warning system]], [[benchmark]], [[case-based reasoning]], [[RAG]], [[skill learning]], [[agentic workflow]], [[AI for science]], [[meteorology]]

阅读依据：arXiv v1 的完整 TeX 源文件、全部正文与附录、主结果表、任务分类表、工具表、提示词和论文图。本文主体分析使用中文；公式保留论文符号，并在必要处补出隐含的聚合公式与数学性质。

One-Sentence Summary

SIREN 把极端天气预警从单点气象分析扩展成“事件刻画 $\rightarrow$ 时空预测 $\rightarrow$ 影响评估 $\rightarrow$ 响应决策”的端到端 agent 链，提出含 600 个 QA、19 个任务的 SIREN-Bench，并用案例检索、技能蒸馏和临时预测建模三种 harness 将历史事件转化为可复用经验；实验显示历史经验显著提高平均分，但指标定义、数据切分、成本公平性、统计显著性和真实业务有效性仍不足以支撑“接近可运营预警系统”的强结论。

论文故事与各章节任务

整体故事

作者的核心论证链是：

现有天气 agent 多集中在诊断、预测或开放式科学分析，缺少影响评估、公众预警和资源调度等下游环节。
因而作者先构造 SIREN-Bench，把预警流程拆成四个原子阶段和一条端到端 warning chain。
在该 benchmark 上，现有 weather-agent baseline 的最佳总分仍低于 $0.4$ 左右，说明单靠当前事件与通用 agent scaffold 不够。
气象专家会参考历史相似事件，所以作者构造历史案例库 $\mathcal{K}$ ，分别以直接类比、程序技能和预测模型三种方式使用历史经验。
三类 experience-grounded harness 的总分普遍高于 SIREN-Base，尤其 SIREN-RAG 最稳定，因此作者主张历史经验是端到端预警 agent 的关键能力。

各章节任务

章节	本章承担的任务	是否完成
Introduction	从 EWS 的 warning-to-action 链定位现有 weather agent 的覆盖缺口	基本完成，但“first”类新颖性主张依赖作者自己的任务分类
SIREN-Bench	定义 600 个实例、19 个任务、数据构造和四类评分协议	覆盖广，但关键阈值、聚合规则、零标签处理和切分细节未完整报告
SIREN	给出统一执行环境及 Base/RAG/Skill/Modeling 四种 agent harness	概念清楚，工程与资源预算细节不足
Experiments	比较 5 个 baseline、4 个 SIREN 变体和 3 个 LLM backbone	结果面广，但每配置仅运行一次，缺少成本控制、显著性和真正的因果消融
Related Work	与天气 benchmark、科学分析 agent、极端天气诊断 agent 对话	相关工作覆盖合理，但对 case-based agent 与 operational decision benchmark 的比较不够细
Appendix	给出任务、工具、提示词、人类评估和案例	很有价值；同时暴露了 evaluator 仅在 SIREN-RAG 输出上验证、重试预算未给出等问题

1. Problem：问题定位

1.1 研究问题

论文要解决的不是“下一时刻天气场预测”这个单独任务，而是：

能否让 LLM agent 自动收集异构气象与地理证据、调用分析工具，并把事件识别、演化预测、影响评估和行动决策串成一个可评估的端到端极端天气预警流程？

这是一个有现实意义的工程与决策支持问题。现代预警系统的价值不只取决于 forecast skill，还取决于是否能把 hazard 转成地点、时间、暴露、损失、警报和行动建议。

1.2 论文认为前人工作缺什么

作者把前人工作的缺口分为两层：

任务覆盖缺口：Zephyrus、EWE、HVR-Met、ClimAgent 和 ClimateAgent 主要覆盖事件刻画、预测或科学分析，没有完整覆盖 impact assessment、responsive decision-making 和 warning chain。
经验利用缺口：现有 agent 主要读取当前事件状态，没有系统利用历史案例中的可迁移经验。

第一个缺口较有说服力；第二个缺口也合理，但“历史经验”并非全新概念，SIREN-RAG、SIREN-Skill 和 SIREN-Modeling 分别明显继承了 case-based reasoning、skill accumulation 和 automated ML agent 的既有范式。创新更接近把三类范式统一放入预警 agent 与同一 benchmark 中比较，而不是提出新的学习理论或基础算法。

1.3 主要 claims

SIREN-Bench 是首个覆盖端到端极端天气预警的 benchmark。
SIREN 是首个覆盖端到端极端天气预警的 LLM-agent framework。
历史经验能够提高原子流程和完整预警链的性能。
检索类比、技能蒸馏和预测建模具有不同且互补的优势。
上游阶段的质量会沿预警链传播并影响下游阶段。

第 3 项有较强的表内证据；第 4 项有描述性证据但没有组合实验；第 5 项目前只有相关性而非因果证据；前两项是文献覆盖意义上的优先权主张，难以由单篇论文完全证明。

2. SIREN-Bench

2.1 基本任务表述

每个 benchmark 实例写成

\tau=(q,y),

其中：

$q$ 是极端天气分析问题；
$y$ 是 ground-truth answer 或 reference response；
agent policy 为 $\pi_\theta$ ；
预测答案为

\hat y=\pi_\theta(q).

论文希望 $\hat y$ 同时满足准确、证据可追溯和业务有用三个条件，但没有把后两个条件写成显式优化目标。例如，更完整的任务形式至少应包含可用环境 $\mathcal{E}$ 、历史库 $\mathcal{K}$ 、执行轨迹 $h_T$ 和评价函数 $U$ ：

\hat y=\pi_\theta(q,\mathcal{E},\mathcal{K},h_T), \qquad \max_{\pi_\theta}\; \mathbb{E}_{\tau\sim\mathcal{D}} \left[ U(\hat y,y,h_T) \right].

这不是论文原式，而是对其隐含目标的显式化。论文没有定义 $U$ ，而是按任务类型采用不同指标。

2.2 数据规模与任务构成

SIREN-Bench 聚焦美国 2021 年极端天气，共 600 个 QA：

流程	实例数	子任务数	子任务
Event Characterization (EC)	64	2	Type Understanding, Physical Understanding
Spatiotemporal Prediction (SP)	160	5	Spatial Detection, Temporal Prediction, Severity Detection, Path Prediction, Duration Prediction
Impact Assessment (IA)	192	6	Agricultural, Economic, Human, Household, Infrastructure, Energy Impact
Responsive Decision-Making (RD)	160	5	Alert Operation, Public Warning, Hazard Mitigation, Mission Assignment, Recovery Center
Warning Chain (WC)	24	1	同一事件上的四阶段连续任务
合计	600	19	18 个原子子任务 + 1 个链任务

覆盖 12 个 hazard family：

convective storms；
tropical systems；
tornadoes；
floods；
winter weather；
high-wind events；
visibility hazards；
heat；
fire；
drought；
marine hazards；
cold-weather events。

2.3 19 个任务的输出契约

论文附录 A 给出了任务 taxonomy。下面保留完整任务和答案类型；各流程只报告总数，没有报告每个子任务的单独样本数。

流程	缩写	子任务	答案类型	实例总数
Event Characterization	TU	Type Understanding：判断事件类型	Multiple Choice	EC 合计 64
Event Characterization	PU	Physical Understanding：解释物理过程和 forcing ingredients	Open Generation	EC 合计 64
Spatiotemporal Prediction	SD	Spatial Detection：当前州和县	Geospatial Localization	SP 合计 160
Spatiotemporal Prediction	TP	Temporal Prediction：距参考时刻多少小时开始	Multiple Choice	SP 合计 160
Spatiotemporal Prediction	SeD	Severity Detection：严重等级	Multiple Choice	SP 合计 160
Spatiotemporal Prediction	PP	Path Prediction：预期移动方向	Multiple Choice	SP 合计 160
Spatiotemporal Prediction	DP	Duration Prediction：持续小时数	Numeric Regression	SP 合计 160
Impact Assessment	AI	Agricultural Impact：作物损失美元	Numeric Regression	IA 合计 192
Impact Assessment	EcI	Economic Impact：财产损失美元	Numeric Regression	IA 合计 192
Impact Assessment	HI	Human Impact：受伤人数	Numeric Regression	IA 合计 192
Impact Assessment	HoI	Household Impact：FEMA housing assistance 户数	Numeric Regression	IA 合计 192
Impact Assessment	II	Infrastructure Impact：public-assistance funding 美元	Numeric Regression	IA 合计 192
Impact Assessment	EnI	Energy Impact：县级停电持续小时数	Numeric Regression	IA 合计 192
Responsive Decision-Making	AOD	Alert Operation Decision：警报操作代码	Multiple Choice	RD 合计 160
Responsive Decision-Making	PW	Public Warning：公众行动指引	Open Generation	RD 合计 160
Responsive Decision-Making	HM	Hazard Mitigation：减灾项目选择	Multiple Choice	RD 合计 160
Responsive Decision-Making	MA	Mission Assignment：任务分派	Open Generation	RD 合计 160
Responsive Decision-Making	RCL	Recovery Center Location：恢复中心位置	Geospatial Localization	RD 合计 160
Warning Chain	WC	同一事件依次完成 EC → SP → IA → RD	四阶段混合	24

Warning Chain 不是一个新的统一答案指标。系统把同一事件的四阶段问题顺序提供，最后把合并回答拆回各阶段，分别按 MC、NR、GL 或 OG 评价。

2.4 原始数据来源

论文称数据来自三组美国公共数据；NOAA 内部又包含两个不同产品，因此实际列出四类来源：

来源	提供的主要字段/证据	支撑任务
NOAA/NCEI Storm Events Database	event type、时间、地点、伤亡、死亡、损失	TU、SP、部分 IA
NOAA/SPC Mesoscale Discussions	预报员对中尺度环境、危险条件和物理机制的文字讨论	PU
FEMA databases	灾害影响、housing/public assistance、公共警报、减灾和响应	HoI、II、RD 等
OEDI utility-outage resources	utility service area 与电力公司公开 outage 信息	EnI

执行环境额外提供的不是 benchmark 标签表，而是 agent 可调用证据：

HRRR 高分辨率分析/预报网格；
SPC Mesoanalysis 图像；
Census TIGER/Line 行政边界；
OpenStreetMap 地图、道路与设施；
earlier years 的历史 QA cases。

论文未给 FEMA 具体数据表和版本、OEDI 覆盖范围、各源原始行数、许可证快照、HRRR 版本/时效、SPC panel 列表、TIGER/OSM snapshot 和资料到达延迟。

2.5 四阶段构造流水线

论文的构造流程是：

\mathrm{Raw\ curation} \rightarrow \mathrm{Normalization/alignment} \rightarrow \mathrm{QA\ generation} \rightarrow \mathrm{Quality\ control}.

2.5.1 Raw curation

从上述数据源筛选 extreme-weather 相关记录；
删除 missing 或 anomalous event records；
得到字段相对一致的候选集合。

未报告：缺失阈值、异常检测规则、原始候选数、逐阶段丢弃数和最终保留率。

2.5.2 Normalization 与 shared event schema

作者把不同数据源的：

timestamps；
spatial identifiers；
event types；
value formats；
units；
naming conventions

映射到 shared event schema，同时保留 source-specific details。

Warning Chain 依赖跨源事件对齐。原文给出的示例是：SED 中 2021-02-09 17:20 的 tornado 与 FEMA 中 16:50 的相关记录。匹配采用 soft alignment：相同 hazard 类型并满足受控时空容差；示例规则包括时间差不超过预定义 threshold，或地点在相邻县。

这是论文最关键但最不可复现的一步。以下都未报告：

时间阈值和时区统一；
空间半径或县邻接图；
“时间或相邻县”与“相同事件类型”的布尔组合；
多对多匹配和冲突优先级；
同一灾害的 source record 去重；
跨源 event ID 生成；
事件跨州、跨县、跨日时的归并规则；
字段冲突和单位换算的裁决。

2.5.3 QA instance generation

每个问题由三部分组成：

Task instruction：说明目标，但不强制一种具体解法；
Event conditions：reference timestamp、affected regions、event description 等完成任务所需输入；
Answer specification：类别、数值、位置或开放文本的输出约束。

作者明确称 event conditions 排除 ground truth，以减少 label leakage。Warning Chain 则把同一 event ID 的四阶段模板顺序拼接。

未报告：完整 prompt 模板、MC option 集合、标签编码、参考答案是规则生成/人工标注/LLM 生成中的哪一种、event description 是否含事后信息，以及 reference time 对证据权限的精确定义。

2.5.4 Quality control

QC 有三步：

LLM audit：检查 event conditions 是否不完整或泄漏，reference 是否不合理、含糊或信息不足；低质量项丢弃；
Resampling：平衡 hazard types 和 occurrence seasons，避免高频灾种或灾害月份主导；
Human expert inspection：检查科学合理性和业务代表性。

论文没有给审核模型、专家人数/资历、双标比例、inter-rater agreement、LLM 与专家冲突裁决、候选拒绝率、重采样权重以及最终 hazard × season 分布。

2.6 历史 case 库的构造与权限

SIREN 把历史案例写成：

\mathcal K=\{K_k\}, \qquad K_k=(q_k,y_k),

来源只描述为 earlier years。RAG 检索最多 6 个案例；Skill 最多使用 3 个 rehearsal cases。附录单个案例中，agent 扫描了 1,897 个 eligible cases 并选出 6 个，但这不能当作全局历史库规模。

检索 prompt 要考虑：任务意图、事件条件、reference time、地点、event type、问题形式、答案格式、源变量和标签。RAG 会把历史问题、参考答案和 event metadata 放入上下文；Skill 先隐藏参考答案完成 rehearsal，再揭示答案并蒸馏程序性技能。

历史库仍缺：

准确年份、总量和逐年/灾种分布；
与 2021 benchmark 的 event-level disjoint 证明；
跨源近重复去重；
历史案例中事后字段的权限；
检索 slice 的具体算法和 recall；
matched random retrieval、no-history token-matched control 和 hard negatives。

2.7 标签泄漏、切分与负样本风险

作者已做的防护只有：问题条件主动排除答案、LLM audit 检查 leak-prone items，以及 Modeling prompt 文字要求防止 target leakage。仍有六个未解决问题：

没有正式 benchmark split：2021 的 600 项整体作为测试，历史 case 是 earlier years，但没有公开 train/dev/test manifest。
事件级隔离不清楚：同一灾害可能在 NOAA、FEMA 和 OEDI 中形成多条高度相关记录；不同 record 不等于不同 event。
回顾性证据权限不清楚：prediction task 必须只读取 reference time 当时已可用的 analysis/forecast。论文没有证明工具层阻止读取事后再分析或未来时次。
Modeling split 不透明：agent 自行用 $\mathcal K$ 构造 train/validation，但未给比例、随机种子、event/time group split、样本量、特征或验证指标。
同一 chain 内部相关：四阶段共享一个事件，不能作为四个独立统计样本；相关事件也不应跨开发和测试。
没有显式正常天气负样本：只平衡 hazard 与季节，没有 calm-day、same-season、same-region 或 synoptically matched hard negatives，不能评价自然基率下的 false alarm 和 calibration。

因此，论文证明的是“在作者构造的 2021 回顾性环境中，历史经验机制能够提高 benchmark 分数”，尚未证明严格 prospective early-warning 能力。

3. Evaluation Metrics：公式、性质与风险

3.1 Multiple-choice Classification

MC 使用 exact label matching accuracy。优点是清楚；缺点是多选标签若部分正确仍记为完全错误，且不同题目 option 数量可能导致 chance level 不同。论文未报告 chance-normalized score。

3.2 Numeric Regression

论文先定义相对误差：

\mathrm{RE} = \frac{\lvert \hat y-y\rvert}{\lvert y\rvert},

再映射为有界分数：

\mathrm{RS} = \frac{1}{1+\mathrm{RE}} = \frac{\lvert y\rvert} {\lvert y\rvert+\lvert\hat y-y\rvert}.

数学性质：

当 $\hat y=y$ 时， $\mathrm{RS}=1$ ；
当误差趋于无穷时， $\mathrm{RS}\rightarrow 0$ ；
当 $\hat y=0$ 且 $y\neq 0$ 时， $\mathrm{RE}=1$ 、 $\mathrm{RS}=0.5$ ；
因此对所有非零正标签，“永远预测 0”也能得到固定的 $0.5$ ，这使 $0.5$ 不是一个直观的“中等正确”分数；
当 $y=0$ 时，

\mathrm{RE} = \frac{\lvert\hat y\rvert}{0}

未定义。

这一点尤其严重，因为 injuries、crop damage、property damage、household assistance 等真实数据中零值很常见。论文没有说明是否删除 $y=0$ 的实例、加入 $\varepsilon$ 、改用绝对误差，或另设零值分支。若实现中有未披露处理，论文公式不完整；若没有处理，指标存在数学错误。

更稳健的候选包括带尺度参数的 symmetric score：

\mathrm{sRE}_{\varepsilon} = \frac{2\lvert\hat y-y\rvert} {\lvert\hat y\rvert+\lvert y\rvert+\varepsilon},

或针对大量零值的 two-part metric：先评估 $\mathbb{1}[y=0]$ 的分类，再在 $y\gt 0$ 子集上评估回归。

3.3 Geospatial Localization

州—县定位分数为

\mathrm{LS}=\frac{\lambda}{\delta_{\mathrm{state}}+1}+\frac{1-\lambda}{\delta_{\mathrm{county}}+1}.

其中：

$\delta_{\mathrm{state}}$ 是州级邻接图最短 hop distance；
$\delta_{\mathrm{county}}$ 是县级邻接图最短 hop distance；
$\lambda$ 控制州匹配所占权重。

它满足：

0\lt\mathrm{LS}\leq 1,

并在两个层级都完全匹配时取 1。但论文没有给出 $\lambda$ 的实际值，也没有说明：

无法 geocode 的回答如何记分；
跨州 county graph 如何连接；
同名县、多个候选县和多地点回答如何处理；
只答对州但县完全错误时的业务容忍度。

坐标或地址定位使用 haversine distance。若两点经纬度为 $(\phi_1,\ell_1)$ 和 $(\phi_2,\ell_2)$ ，标准展开为

\begin{aligned} a &= \sin^2\left(\frac{\phi_2-\phi_1}{2}\right)\\ &\quad+ \cos(\phi_1)\cos(\phi_2) \sin^2\left(\frac{\ell_2-\ell_1}{2}\right),\\ d &= 2R\arcsin\left(\sqrt{a}\right). \end{aligned}

论文对多个预测点和 reference point 取最小 $d$ ，再定义

\mathrm{SS}=\frac{1}{1+d},

其中 $d$ 以 km 为单位。该映射在近距离区间下降很快：

d=0,1,9,99 \quad\Longrightarrow\quad \mathrm{SS}=1,0.5,0.1,0.01.

这隐含了非常强的公里级惩罚，却没有根据任务类型区分“恢复中心地址”和“受灾区域定位”的容忍尺度。一个固定的 $1$ km characteristic scale 未必有业务依据。

3.4 Open-ended Generation

对大部分开放题，作者从 reference answer 中抽取关键点集合 $\mathcal{P}_{\mathrm{ref}}$ ，计算

\mathrm{Recall} = \frac{\lvert\mathcal{P}_{\mathrm{hit}}\rvert} {\lvert\mathcal{P}_{\mathrm{ref}}\rvert}, \qquad \mathcal{P}_{\mathrm{hit}} \subseteq \mathcal{P}_{\mathrm{ref}}.

这个指标只奖励覆盖，不惩罚错误附加内容。若 agent 输出很长的“安全清单”，只要命中更多 reference points 就可能得高分，即使同时包含不适用、矛盾或危险建议。对于 public warning 和 mission assignment，这不是小问题：错误建议的风险可能高于遗漏某个次要点。

更合理的评分至少应分解为：

\mathrm{Precision} = \frac{\lvert\mathcal{P}_{\mathrm{hit}}\rvert} {\lvert\mathcal{P}_{\mathrm{pred}}\rvert}, \qquad F_1 = \frac{2PR}{P+R},

再单独加入 contradiction、unsupported claim 和 unsafe action penalty。

Physical Understanding 使用 Qwen3.6-27B evaluator 给 $0$ -- $10$ 分，再归一化。这里 evaluator 与被评模型不同，但仍是单一 LLM judge。

3.5 CPR 与 EPR

Completion Pass Rate：

\mathrm{CPR} = \frac{\#\mathrm{valid\ answers}} {\#\mathrm{runs}}.

Execution Pass Rate：

\mathrm{EPR} = \frac{\#\mathrm{runs\ without\ execution/postcheck\ failure}} {\#\mathrm{runs}}.

论文允许 model-service failure、代码错误、工具错误和格式错误触发 bounded retries，但未报告 retry budget。于是 EPR 和 CPR 的解释依赖一个未公开超参数：更多重试通常能提高成功率，同时增加成本和延迟。

3.6 Overall Score 的隐含聚合

论文没有明确写出 atomic overall 的聚合公式，但可由表中数字反推它是按实例数加权，而不是四类任务宏平均：

\mathrm{Score}_{\mathrm{atomic}}=\frac{64s_{\mathrm{EC}}+160s_{\mathrm{SP}}+192s_{\mathrm{IA}}+160s_{\mathrm{RD}}}{576}.

例如 Qwen3.7-Plus + Zephyrus：

\frac{64(0.453)+160(0.199)+192(0.461)+160(0.252)}{576}\approx 0.329.

与表中 Overall 一致。

这意味着 IA 占总分三分之一，EC 只占九分之一。Overall ranking 因而不是“预警四阶段同等重要”的结果，而是受作者选取的实例配额影响。论文应同时报告 instance-weighted micro average 与 procedure-balanced macro average。

对 24 条 warning chain，表中 Overall 可反推为四阶段算术平均：

\mathrm{Score}_{\mathrm{chain}}=\frac{s_{\mathrm{EC}}+s_{\mathrm{SP}}+s_{\mathrm{IA}}+s_{\mathrm{RD}}}{4}.

例如 SIREN-RAG：

\frac{0.342+0.167+0.275+0.731}{4} =0.37875 \approx 0.379.

正文一方面说“不分配单一 monolithic metric”，另一方面又报告这个 Overall；更准确的说法应是“不用一个统一任务指标，而对阶段分数做后验平均”。

4. SIREN 方法

4.1 总体架构

完整数据流为：

\begin{aligned} q &\rightarrow \mathrm{Agent\ harness}\\ &\rightarrow \mathrm{Reason} \rightarrow \mathrm{Code} \rightarrow \mathrm{Guarded\ execution}\\ &\rightarrow \mathrm{Evidence/tool\ observation} \rightarrow \mathrm{Updated\ trajectory}\\ &\rightarrow \hat y. \end{aligned}

环境记为 $\mathcal{E}$ ，由三部分组成：

\mathcal{E} = \left( \mathcal{X}, \mathcal{T}, \mathrm{ExecutionServer} \right),

其中 $\mathcal{X}$ 是多模态证据， $\mathcal{T}$ 是工具集合。

4.2 证据与工具

四类证据：

HRRR meteorological grids；
SPC mesoanalysis images；
Census / OSM geospatial information；
historical cases

\mathcal{K} = \left\{ \mathcal{K}_k \right\}_{k=1}^{K}, \qquad \mathcal{K}_k=(q_k,y_k).

七类工具：

类别	作用	代表工具
Evidence Indexing	受控访问 HRRR、SPC、OSM、历史案例和 run artifact	`access_hrrr_reanalysis`, `access_historical_cases`
Meteorological Analysis	风、涡度、散度、frontogenesis、层结与切变诊断	`compute_wind_diagnostics`, `compute_layer_profile_metrics`
Atmospheric Forecasting	读取给定初始化与 lead time 的预测场	`access_model_forecast`
Visual Processing	绘图、裁切、放大、标注与场比较	`visualize_gridded_field`
Impact Modeling	hazard、exposure、vulnerability 组合与区域排序	`estimate_integrated_impact`
Geospatial Normalization	地名、行政区、经纬度和 HRRR grid 对齐	`normalize_location_reference`
ML Development	训练轻量预测器、保存和调用模型	`train_ml_model`

历史案例只向 experience-grounded variants 开放；ML development 只向 SIREN-Modeling 开放。这个权限差异正是方法定义的一部分，但也意味着各变体可用计算和工具预算不同。

4.3 SIREN-Base

Base 是 reason--code--observe 多轮循环。论文写为

\begin{aligned} \{r_t,a_t\} &\sim \pi_\theta(\cdot\mid q,h_t),\\ o_t &= \mathcal{E}(a_t),\\ h_{t+1} &= h_t\cup\{r_t,a_t,o_t\}. \end{aligned}

其中：

$r_t$ ：第 $t$ 轮 reasoning trace；
$a_t$ ：可执行代码或工具 action；
$o_t$ ：环境返回的 observation；
$h_t$ ：截至第 $t$ 轮的轨迹；
$t\in\{1,\ldots,T\}$ 。

终止后：

\hat y=\pi_\theta(q,h_T).

数学记号上有两个小问题：

$(r_t,a_t)$ 是有顺序的联合输出，写成集合 $\{r_t,a_t\}$ 不够严谨；
$h_t$ 是序列而不是集合，使用集合并集 $\cup$ 会丢失顺序和重复元素。更合适的是

h_{t+1} = h_t \mathbin{\Vert} (r_t,a_t,o_t),

其中 $\Vert$ 表示 trajectory concatenation。

此外，实验用 temperature $0$ ，所以“ $\sim\pi_\theta$ ”的随机采样解释较弱；在 API 层仍可能有非确定性，但论文没有建模。

4.4 SIREN-RAG

第一阶段由检索指令 $I_{\mathrm{rag}}$ 驱动：

\{r_t,a_t\} \sim \pi_\theta( \cdot \mid q,h_t,I_{\mathrm{rag}} ).

agent 搜索案例库并得到

\mathcal{K}_{\mathrm{rag}} \subset \mathcal{K}, \qquad \lvert\mathcal{K}_{\mathrm{rag}}\rvert \leq 6.

当第 $T_{\mathrm{rag}}$ 轮 observation 返回案例集合后，进入目标求解：

\{r_t,a_t\} \sim \pi_\theta( \cdot \mid q,h_t,\mathcal{K}_{\mathrm{rag}} ), \qquad t>T_{\mathrm{rag}}.

它不是典型的 embedding retriever + top- $k$ ，而是让 LLM 检查与当前子任务相关的完整历史集合，按任务意图、时间、地点、事件类型、问题形式、答案格式、变量和标签排序。优点是语义灵活；缺点是检索成本高、排序不可复现，也没有独立的 retrieval recall 评估。

4.5 SIREN-Skill

Skill harness 有三阶段：

\mathrm{Retrieve\ rehearsal\ cases} \rightarrow \mathrm{Practice/reflection} \rightarrow \mathrm{Target\ solving}.

先选最多 $m=3$ 个练习案例：

\mathcal{K}_{\mathrm{reh}} = \left\{ \mathcal{K}_j \right\}_{j=1}^{m} \subset \mathcal{K}.

对第 $j$ 个案例 $\mathcal{K}_j=(q_j,y_j)$ ：

隐藏 $y_j$ ；
用当前技能摘要 $\mathcal{S}_j$ 解决 $q_j$ ；
得到 rehearsal trajectory $h^{j}_{T_j}$ ；
揭示 $y_j$ ，更新技能：

\mathcal{S}_{j+1} = \pi_\theta( I_{\mathrm{skill}}, \mathcal{S}_j, h^{j}_{T_j}, y_j ).

最后用累计技能解决目标：

\{r_t,a_t\} \sim \pi_\theta( \cdot \mid q,h_t,\mathcal{S}_{m+1} ).

这相当于 test-time learning in context，但没有更新 $\theta$ 。 $\mathcal{S}_{m+1}$ 是自然语言程序性记忆，不保存事件特定答案。论文结果显示它通常强于 Base、弱于 RAG，说明少量 rehearsal 蒸馏可能丢失对具体地点和事件有用的细节。

4.6 SIREN-Modeling

Modeling harness 从完整历史集合构造 train/validation data，选择轻量 ML 模型并训练。执行到第 $T_{\mathrm{mod}}$ 轮时：

\left\{ o_{T_{\mathrm{mod}}}, M \right\} = \mathcal{E} \left( a_{T_{\mathrm{mod}}} \right),

其中 $M$ 是训练后的 task-specific predictor。随后：

\{r_t,a_t\} \sim \pi_\theta( \cdot \mid q,h_t,M ), \qquad t>T_{\mathrm{mod}}.

这里真正被训练的是 $M$ ，不是 LLM policy $\pi_\theta$ 。agent 负责：

构造特征和 target；
划分 train/validation；
选择模型；
训练与验证；
把 $M$ 的预测当作额外证据。

论文要求如果原任务不可直接学习，就定义 learnable intermediate target。该自由度很强，但也使不同 run 可能构造不同问题；论文没有报告模型家族分布、特征、验证集规模、验证指标或失败案例，因此难以判断提升来自稳定方法还是 agent 偶然选对了 proxy。

4.7 训练与推理

LLM backbone：不训练，temperature $0$ ，通过 prompt 与工具交互。
SIREN-RAG：推理时额外检索最多 6 个案例。
SIREN-Skill：推理时先完成最多 3 个案例的练习和技能更新。
SIREN-Modeling：推理时临时训练一个 $M$ ，再将其预测注入 agent。
Evaluator：固定使用 Qwen3.6-27B，temperature $0$ 。

因此这些方法的资源消耗并不相等。若不报告 token、tool calls、执行轮数、模型训练时间和 API cost，“谁得分更高”不能直接解释为“谁更高效或更适合业务部署”。

5. Experiments

5.1 实验设置

Baselines：Zephyrus、EWE、ClimAgent、ClimateAgent、HVR-Met；
Backbones：Qwen3.7-Plus、GPT-5.4 mini、Gemini 3.1 Flash-Lite；
所有方法 temperature $0$ ；
相同 benchmark inputs 和 evaluation pipeline；
每个 configuration 只运行一次；
evaluator 固定为 Qwen3.6-27B；
transient service/code/tool/format failures 允许 bounded retry，但预算未报告。

相同 backbone 与 evaluator 是公平性优点，但不同框架的工具、提示词、历史访问、计算步骤和 retry 消耗仍不相等。

5.2 Atomic procedure 主结果

下表保留四个 procedure 分数与 Overall。Best baseline 是同一 backbone 下五个 baseline 的逐列最大值；它不一定来自同一个方法。

Qwen3.7-Plus

Method	EC	SP	IA	RD	Overall	Overall EPR
Best baseline	0.456	0.260	0.479	0.269	0.351	0.906--0.995
SIREN-Base	0.509	0.226	0.266	0.253	0.278	0.995
SIREN-RAG	0.488	0.230	0.521	0.537	0.441	0.892
SIREN-Skill	0.478	0.225	0.476	0.472	0.406	0.943
SIREN-Modeling	0.522	0.277	0.463	0.554	0.443	0.991

GPT-5.4 mini

Method	EC	SP	IA	RD	Overall	Overall EPR
Best baseline	0.516	0.248	0.401	0.240	0.322	0.917--0.974
SIREN-Base	0.512	0.227	0.391	0.224	0.313	0.997
SIREN-RAG	0.516	0.285	0.530	0.363	0.414	0.922
SIREN-Skill	0.391	0.247	0.427	0.361	0.355	0.936
SIREN-Modeling	0.472	0.238	0.527	0.331	0.386	0.998

Gemini 3.1 Flash-Lite

Method	EC	SP	IA	RD	Overall	Overall EPR
Best baseline	0.534	0.247	0.397	0.237	0.316	0.722--0.929
SIREN-Base	0.544	0.263	0.363	0.224	0.317	1.000
SIREN-RAG	0.534	0.269	0.485	0.411	0.410	0.953
SIREN-Skill	0.506	0.248	0.413	0.247	0.332	0.997
SIREN-Modeling	0.484	0.241	0.407	0.300	0.340	0.984

5.3 提升幅度核算

作者按相对提升计算：

\mathrm{Gain}=\frac{\mathrm{Score}_{\mathrm{SIREN}}-\mathrm{Score}_{\mathrm{best\ baseline}}}{\mathrm{Score}_{\mathrm{best\ baseline}}}.

三组数字正确：

\begin{aligned} \mathrm{Qwen}:& \quad \frac{0.443-0.351}{0.351} \approx 26.2\%,\\ \mathrm{GPT}:& \quad \frac{0.414-0.322}{0.322} \approx 28.6\%,\\ \mathrm{Gemini}:& \quad \frac{0.410-0.316}{0.316} \approx 29.7\%. \end{aligned}

但需要区分相对提升和绝对提升。绝对提升分别只有 $0.092$ 、 $0.092$ 、 $0.094$ 。另外，分数本身混合了 accuracy、relative score、localization score 和 LLM judge score，不能把 26--30% 理解为真实预警业务效益提高同样比例。

5.4 结果的真正含义

最可信的结论是：

在这个 benchmark 和评价管线内，历史案例显著帮助 IA 与 RD；
SIREN-RAG 跨 backbone 最稳定；
SIREN-Modeling 在 Qwen 下很强，但迁移到 GPT/Gemini 后相对弱；
SIREN-Skill 总体有益但信息压缩损失较大；
预测 SP 始终最难，最高仅 $0.285$ ；
高任务分数不等于高执行可靠性，例如 Qwen SIREN-RAG Overall 为 $0.441$ ，但 EPR 只有 $0.892$ 。

较不可靠的解释是“环境本身普遍很强”。SIREN-Base 的竞争力依赖 backbone 和任务：

Qwen Overall 只有 $0.278$ ，明显低于 baseline $0.351$ ；
它在 Qwen IA 上为 $0.266$ ，而 best baseline 为 $0.479$ ；
Gemini 下总体接近 best baseline，主要受较高 EC/SP 和完美 EPR 支撑。

5.5 子任务、事件、地区和月份

Qwen 子任务图显示：

SIREN-RAG/Modeling 在 AI、EcI、HI、II、AOD、PW、MA、RCL 等任务上改善明显；
Hazard Mitigation 几乎所有方法都接近 0，是一个系统性失败点；
SP 中 SD、TP、PP 的绝对分数仍很低；
SIREN-Base 在部分 impact task 明显弱于 baseline，历史经验承担了大部分提升。

事件类型上，SIREN-RAG + Qwen 的 marine hazards 最高，fire 最低；州级结果中 Michigan 最高，Florida 与 Alaska 较低；月度结果有明显波动。

这些图没有同时给出每个 subgroup 的样本数、误差条或置信区间。少数事件/州/月可能只有很少实例，因此柱高差异既可能反映真实 domain shift，也可能只是 composition 和 sampling noise。论文把多种波动解释为“案例匹配程度”仍属合理猜测，不是已验证机制。

5.6 End-to-end warning chain

Gemini 3.1 Flash-Lite 上的 24 条 chain：

Method	EC	SP	IA	RD	Overall
Zephyrus	0.317	0.083	0.025	0.536	0.240
EWE	0.225	0.083	0.180	0.586	0.268
ClimAgent	0.300	0.125	0.136	0.583	0.286
ClimateAgent	0.258	0.125	0.172	0.472	0.257
HVR-Met	0.275	0.125	0.124	0.491	0.254
SIREN-Base	0.325	0.083	0.107	0.558	0.268
SIREN-RAG	0.342	0.167	0.275	0.731	0.379
SIREN-Skill	0.233	0.125	0.252	0.602	0.303
SIREN-Modeling	0.258	0.125	0.305	0.332	0.255

相对最强 baseline ClimAgent：

\frac{0.379-0.286}{0.286} \approx 32.5\%.

这个结果支持 RAG 类比对连续对话有用，但样本只有 24 条，且只报告 Gemini 一个 backbone。SP 的取值呈现 $0.083$ 、 $0.125$ 、 $0.167$ 等离散步长，很可能对应 24 条任务中的 $2/24$ 、 $3/24$ 、 $4/24$ ；SIREN-RAG 比多个方法多答对约 1--2 条。相对百分比很大，但绝对样本差很小。

5.7 Cross-procedure dependency

作者报告：

Dependency	Spearman $\rho$
$\mathrm{EC}\rightarrow\mathrm{SP}$	0.196
$\mathrm{SP}\rightarrow\mathrm{IA}$	0.226
$\mathrm{IA}\rightarrow\mathrm{RD}$	0.282
$(\mathrm{EC}/\mathrm{SP})\rightarrow\mathrm{IA}$	0.589
$(\mathrm{EC}/\mathrm{SP}/\mathrm{IA})\rightarrow\mathrm{RD}$	0.254

Spearman correlation 是 rank correlation：

\rho_s = \mathrm{Corr} \left( \mathrm{rank}(X), \mathrm{rank}(Y) \right).

若无 ties，可写为

\rho_s = 1- \frac{6\sum_i d_i^2} {n(n^2-1)}.

论文把五个正值解释为上游性能“传播”到下游，但这不成立：

相关不等于因果：难事件可能让所有阶段同时低分，产生共同难度 confounding。
样本量只有 $n=24$ ：除 $0.589$ 外，其余相关都较弱。
未报告 $p$ 值或置信区间。使用近似

t \approx \rho \sqrt{ \frac{n-2}{1-\rho^2} }, \qquad n=24,

可得 $\rho=0.589$ 对应 $t\approx 3.42$ ，而 $0.196$ 、 $0.226$ 、 $0.282$ 、 $0.254$ 的近似双侧检验通常不会显著。 4. 累计前缀定义不清： $(EC/SP)$ 是平均、乘积还是某种 joint score，正文未给出公式。

要验证因果传播，应做 intervention：

\mathrm{DownstreamGain}=\mathrm{Score}\left(y_{\mathrm{upstream}}^{\mathrm{oracle}}\right)-\mathrm{Score}\left(y_{\mathrm{upstream}}^{\mathrm{corrupted}}\right).

并对 oracle、原始、随机扰动和完全屏蔽上游答案进行对照。

5.8 LLM--human evaluator alignment

论文用 SIREN-RAG 在三种 backbone 上的开放题输出验证 evaluator：

Evaluator	Agreement Rate	Kendall $\tau_b$	Spearman $\rho$
Recall-based evaluator	73.96%	80.50%	87.05%
0--10 evaluator	66.67%	72.48%	78.01%

Kendall $\tau_b$ 的标准形式为

\tau_b = \frac{C-D} {\sqrt{(C+D+T_x)(C+D+T_y)}},

其中 $C$ 、 $D$ 分别为 concordant 和 discordant pair， $T_x,T_y$ 处理 ties。

这里的正面信号是作者确实做了 human alignment，而不是完全依赖 LLM judge。局限包括：

只验证 SIREN-RAG 输出，未覆盖 baseline、Skill、Modeling 的不同输出分布；
未报告 annotator 数量、背景、样本量和独立 inter-rater agreement；
“binary consensus judgment”可能掩盖 annotator 分歧；
0--10 evaluator 只有 66.67% agreement，不足以把小分差视为可靠；
表把相关系数写成百分比，虽可理解为 $100\rho$ ，但统计表达不规范；
无置信区间。

6. Claims $\rightarrow$ Evidence Mapping

Claim	类型	直接证据	强度	主要风险
SIREN-Bench 首次覆盖完整极端天气预警链	Novelty / benchmark	Table 1 与 related-work taxonomy	中	“覆盖”由作者自定义类别判断，未系统穷尽所有 operational EWS 系统
SIREN 是首个端到端预警 agent	Novelty	文献综述与框架图	中偏弱	first claim 难证；多个同期 agent 已有端到端科学 workflow，只是任务边界不同
历史经验提高 atomic performance	Empirical	Table 2，三 backbone 上最佳 SIREN 相对 best baseline 提高 26.2--29.7%	中偏强	单次运行；混合指标；成本不等；数据隔离不透明
历史经验提高 warning-chain performance	Empirical	Gemini 上 SIREN-RAG 0.379 vs ClimAgent 0.286	中	仅 24 条、单 backbone、差值约对应少数题
三种经验机制互补	Empirical / mechanistic	不同任务和 backbone 的最佳变体不同	中偏弱	没有组合 RAG+Skill、RAG+Modeling 或正交消融，无法证明真正互补
执行环境本身是强基础	Empirical	GPT/Gemini Base 分别 0.313/0.317，接近 strongest baseline	中	Qwen Base 0.278 明显落后；各任务差异大
上游错误向下游传播	Empirical / causal	24 条链上的 Spearman 正相关	弱	多数 $\rho$ 小且未显著；共同难度混杂；相关不证明传播
evaluator 与人类基本一致	Validation	Agreement 66.67--73.96%，rank correlation 0.7801--0.8705	中	仅验证 SIREN-RAG 分布；样本与 annotator 信息不足
可用于 operational early warning	Applicability	回顾性 benchmark、1 个专家案例	弱	无实时数据延迟、缺失、更新、告警责任、false alarm 与 prospective trial

7. 理论与数学严谨性

7.1 优点

主要 agent 状态、历史库和三种 harness 均有形式化符号；
指标被显式写出，不完全依赖黑箱 judge；
chain 的阶段结构与执行过程一致；
附录提供了足够多的 prompts，便于理解方法而非只看架构图。

7.2 高优先级数学问题

Numeric score 在 $y=0$ 时未定义：这是实际 impact label 很可能出现的边界，不是纯形式问题。
Recall-only 开放题指标不可惩罚危险误报：与预警任务的代价结构不匹配。
Overall 权重未明确：atomic Overall 实际由数据配额决定。
相关性被解释成因果传播：需要干预实验。
链样本太少： $n=24$ 无法支撑多个 correlation 与细粒度结论。

7.3 中低优先级形式问题

$\{r_t,a_t\}$ 应为 ordered pair；
$h_t\cup\{\cdot\}$ 应为 sequence concatenation；
$\lambda$ 未赋值；
cumulative prefix score 未定义；
retry budget 未赋值；
“deterministic decoding”不等于 API 完全确定；
$\pi_\theta$ 没有训练，容易让读者误以为这是 policy learning，而实际是固定 LLM + prompt harness。

8. 实验设计与公平性

8.1 做得好的地方

五个强 baseline，且覆盖 weather science、climate analysis 和 extreme-weather diagnosis；
三个不同商业 LLM backbone，降低单模型偶然性；
使用同一输入和 evaluator；
同时报告 task score、CPR 和 EPR；
有 task、event、state、month、chain 等多视角；
提供 human-evaluator alignment 和专家案例。

8.2 缺失实验

多次重复和置信区间：每配置一次，即使 temperature $0$ ，服务、工具和代码轨迹仍可能变化。
成本匹配：至少报告 token、agent turns、tool calls、wall time、API cost、重试次数和 Modeling 训练时间。
经验库消融：
- random cases；
- only same-type / only same-region；
- 不同 $k$ ；
- 时间距离控制；
- 去除历史答案只保留条件；
- 同样 token budget 的非历史上下文。
组合实验：RAG+Skill、RAG+Modeling、Skill+Modeling，才能支持“互补”。
数据泄漏审计：event ID grouped split、时间冻结、工具权限测试、未来时次访问测试。
指标稳健性：zero target、极端 outlier、冗长回答、矛盾信息、无效 geocode。
真实业务指标：false alarm ratio、probability of detection、lead time、calibration、cost-loss value、unsafe recommendation rate。
人类基线：至少让气象专家或 trained forecaster 完成一部分 benchmark，以建立 operational usefulness 的绝对标尺。
链因果实验：oracle/corrupted upstream intervention。
跨地区与跨年份测试：美国以外、2022--2025 prospective holdout、分布转移与数据缺失场景。

9. 最关键的局限

Fundamental / 可能影响主要结论

数值指标的 $y=0$ 病态：若数据包含零标签且没有特殊实现，相关 IA/NR 结果不可解释。
历史库与测试集隔离不透明：若同一事件的跨源记录或近重复案例跨越历史库与测试，经验提升可能包含 retrieval leakage。
开放式预警评价只奖励 recall：高分可能与安全、精确、无矛盾的预警文本不一致。

Significant concerns

每配置只运行一次，无方差、bootstrap 或显著性检验。
chain 只有 24 条且只在 Gemini 报主表。
相关性不能证明错误传播。
各方法成本不匹配，SIREN-Skill 与 Modeling 明显做了更多 test-time computation。
evaluator 只在 SIREN-RAG 输出分布上验证。
缺少事件级 split、soft-alignment threshold、 $\lambda$ 、retry budget 和聚合规则的完整说明。
当前实验是 retrospective benchmark，不是实时 operational deployment。

Minor / presentation

arXiv TeX 仍保留 ACM 模板的 2018、Woodstock、占位 DOI 和 conference title；正式 venue 不应据此推断。
多个 robustness 图缺样本数和误差条。
“first”类表述应更谨慎地限定为作者检索到的公开 benchmark。
部分工具只给一句描述，缺输入输出 schema 和异常语义。

10. Critical Assessment

Strengths

研究问题比“再做一个天气问答 agent”更完整，真正把 warning-to-action 链纳入任务设计。
SIREN-Bench 的 19 个任务覆盖从物理理解到影响与资源调度，具有较高的研究组织价值。
把历史案例的三种使用方式放在同一环境和同一 benchmark 中比较，是清晰且可复用的实验框架。
SIREN-RAG 的跨 backbone 表现稳定，说明 case-based analogical evidence 对 impact/decision task 确有价值。
附录公开 prompts、工具分类、人类对齐结果和完整案例，透明度优于只给架构示意的 agent 论文。
作者明确承认只能作为专业人员的辅助系统，伦理定位合理。

Weaknesses & Risks

核心算法主要是现有 agent harness 的领域组合，方法创新不算深。
benchmark metric 中至少有一个明确数学边界问题和一个明显的安全评价错位。
历史案例最容易产生数据泄漏，但论文恰恰没有给足 event-level split 与时间权限细节。
分数提升没有与额外计算预算对齐。
“上游性能传播”是过度解释。
benchmark 的绝对分数很低，特别是 SP；这与 operational readiness 仍有很大距离。
公开匿名仓库当前不可访问，阻碍数据和代码审计。

Reviewer Feedback

截至 arXiv v1 未发现公开 OpenReview 页面、正式 venue 或外部 reviewer feedback。论文源文件仍含 ACM 模板占位信息，因此不能把 2018 或 Woodstock 当作真实发表信息。

Recommendation

Major Revision / top-tier AI venue 下倾向 Weak Reject（约 5/10）。

理由不是问题不重要，而是当前最强 claim 建立在一个尚未完全校准的 benchmark 上。若作者修复 $y=0$ 指标、加入 precision/unsafe penalty、严格证明事件与时间隔离、报告多次运行与成本、扩大 chain 样本并做 upstream intervention，论文可明显提升到 solid contribution。

Innovation Score: 6/10

Benchmark 与问题框架：较新；
统一经验 harness：有系统价值；
单个算法模块：主要来自已有 RAG、skill learning 和 ML-agent 思路；
最大贡献是任务定义与系统整合，而不是理论或模型结构。

11. 与领域现状的对话

工作	主要范围	相对 SIREN 的优势	相对 SIREN 的不足
Zephyrus	天气数据、forecast、simulation、counterfactual 的通用 agent 环境	科学工具与 benchmark 更通用，ICLR 2026 正式发表	缺少 impact、response 与完整 warning chain
EWE	极端天气诊断、知识规划与闭环审计	对物理诊断过程与工具审计更专门	主要停留在 event characterization
HVR-Met	Hypothesis--Verification--Replanning 的极端天气诊断	闭环机制与异常信号验证更强	不覆盖完整下游预警链
ClimAgent	开放式 climate science analysis	面向科学发现和开放式建模，任务通用性强	operational warning 与 impact task 不是重点
ClimateAgent	多 agent 气候数据分析 workflow	orchestration、数据 agent 和自纠错更系统	同样缺少完整 EWS warning-to-action 评价
SIREN	事件刻画、预测、影响、响应、完整链	任务覆盖最接近 operational EWS；显式利用历史案例	预测能力弱、指标与真实业务不完全一致、成本和切分审计不足

一句话定位：

SIREN 是从“weather science agent”走向“operational warning-chain benchmark”的系统型贡献，其最独特之处是任务覆盖与历史经验组织方式，而非新的 LLM 训练算法。

12. 可复用研究思路

历史经验的三层抽象：
- case-level：直接类比；
- procedure-level：蒸馏技能；
- data-level：训练预测器。
同一 agent environment 中做 harness 对比：比跨论文比较更能隔离 backbone 差异。
将 chain 拆成可独立评分的 stage：便于故障定位。
把 execution reliability 与 answer quality 分开：CPR/EPR 是有价值的工程指标。
受控代码执行与 artifact boundary：适合任何需要大规模科学数据的 agent。
下一步最值得做的研究：
- uncertainty-aware case retrieval；
- case provenance 与 leakage detector；
- cost-aware harness routing；
- stage-level causal credit assignment；
- calibrated warning utility，而非通用 QA score。

13. 研究方向与长期前景

是否值得 follow up

值得参考并有选择地复现。

最值得跟进的不是复刻三种 prompt harness，而是建立一个严格的、无泄漏的 prospective warning benchmark，并把“准确率”替换为真正的决策价值：

\mathrm{ExpectedUtility} = \sum_{e} p(e\mid x) \left[ B(a,e)-C(a,e) \right],

其中 $e$ 是事件结果， $a$ 是告警或响应动作， $B$ 与 $C$ 分别是收益和代价。真实预警系统关心 missed event、false alarm、lead time、资源错配和公众信任，不只是 QA 相似度。

可能的 scaling bottleneck

RAG 需要检查大量案例；附录案例扫描 1,897 条；
Skill 最多增加 3 个完整 rehearsal trajectory；
Modeling 会为任务临时构造数据并训练模型；
多阶段 chain 会累积 token、工具调用、错误和延迟；
历史库越大，检索质量、案例冲突与 provenance 管理越难。

如果没有 routing policy，所有任务都运行最重 harness 不具备运营可行性。更合理的系统应根据不确定性与任务类型动态选择 Base、RAG 或 Modeling。

14. Code Verification

可访问性检查

arXiv 正文给出的仓库为 https://anonymous.4open.science/r/SIREN-5CE8/。
2026-07-31 实际访问时，该页面重定向到公开 API，但 API 返回：

json

{"error":"not_connected"}

arXiv source archive 的研究内容主要是 TeX、BibTeX、表格和图，未包含 Python 实现、benchmark JSON 或环境代码。

因此当前无法完成 Claims $\rightarrow$ Code 映射、超参数一致性、工具边界、数据切分和 $y=0$ 实现检查。不能把这一状态写成“作者没有代码”；准确结论是：论文提供了匿名仓库链接，但检查时仓库未连接或不可访问，代码验证被外部可访问性阻断。

仅凭论文可以核对的项目

Claim	论文描述	可核对材料	状态
Base 的 reason--execute--observe loop	正文公式 + prompts	TeX 附录	描述一致
RAG 最多 6 个案例	Implementation Details + RAG prompt	TeX 附录	描述一致
Skill 最多 3 个 rehearsal cases	Implementation Details + Skill prompt	TeX 附录	描述一致
Modeling 必须训练并验证 predictor	Modeling prompt	TeX 附录	描述一致，具体模型不可核
所有 backbone temperature $0$	Implementation Details	TeX 附录	只能核对声明
evaluator 为 Qwen3.6-27B, temperature $0$	Implementation Details	TeX 附录	只能核对声明
数值回归零标签处理	未报告	无实现	无法验证
$\lambda$ 、retry budget、聚合代码	未报告	无实现	无法验证
历史库与 2021 测试事件隔离	未充分报告	无数据/代码	无法验证

15. 科研品味三维评分

text

创新性 (Novelty):        ★★★☆☆ (3.0/5)
  - 端到端预警 benchmark 与问题组织有新意
  - 三类经验 harness 本身主要是既有范式的领域组合

严谨性 (Rigor):         ★★☆☆☆ (2.5/5)
  - 任务、公式、prompts 和多 backbone 实验较完整
  - 但零标签指标、单次运行、24 条 chain、切分与成本问题显著

影响力 (Impact):        ★★★★☆ (3.5/5)
  - warning-to-action 任务定义可能推动 weather agent 走向下游决策
  - 长期影响取决于 benchmark/代码开放、指标修复和真实业务验证

16. 最终判断

这篇论文在极端天气 LLM agent方向上，通过SIREN-Bench + 统一执行环境 + 历史案例 RAG/Skill/Modeling harness，把研究边界从孤立的气象诊断推进到包含影响与响应的端到端预警链。它最有价值的部分是问题框架和 benchmark taxonomy；最可信的经验发现是历史案例显著帮助 impact assessment 与 responsive decision-making。

但当前版本仍把“回顾性 QA benchmark 上的相对分数提升”解释得过于接近“operational early-warning capability”。数值指标在 $y=0$ 时未定义、开放题不惩罚错误附加信息、历史案例隔离不可审计、成本不匹配、chain 样本过小以及相关性被因果化，都会削弱结论。

如果我是作者的 advisor，我会优先要求：

修复和重新计算 NR/OG 指标；
公开 event-level split、工具时间权限和完整代码；
做多次运行、bootstrap CI 和 cost-normalized comparison；
把 chain 扩大到至少数百个事件，并进行 oracle/corrupted upstream intervention；
增加专业 forecaster baseline 与 prospective holdout；
将“端到端自动预警”改写为“面向专业人员的回顾性决策支持 benchmark”，直到真实部署证据充分。

SIREN: Towards End-to-End Extreme-Weather Early Warning with Experience-Grounded LLM Agents ​

One-Sentence Summary ​

论文故事与各章节任务 ​

整体故事 ​

各章节任务 ​

1. Problem：问题定位 ​

1.1 研究问题 ​

1.2 论文认为前人工作缺什么 ​

1.3 主要 claims ​

2. SIREN-Bench ​

2.1 基本任务表述 ​

2.2 数据规模与任务构成 ​

2.3 19 个任务的输出契约 ​

2.4 原始数据来源 ​

2.5 四阶段构造流水线 ​

2.5.1 Raw curation ​

2.5.2 Normalization 与 shared event schema ​

2.5.3 QA instance generation ​

2.5.4 Quality control ​

2.6 历史 case 库的构造与权限 ​

2.7 标签泄漏、切分与负样本风险 ​

3. Evaluation Metrics：公式、性质与风险 ​

3.1 Multiple-choice Classification ​

3.2 Numeric Regression ​

3.3 Geospatial Localization ​

3.4 Open-ended Generation ​

3.5 CPR 与 EPR ​

3.6 Overall Score 的隐含聚合 ​

4. SIREN 方法 ​

4.1 总体架构 ​

4.2 证据与工具 ​

4.3 SIREN-Base ​

4.4 SIREN-RAG ​

4.5 SIREN-Skill ​

4.6 SIREN-Modeling ​

4.7 训练与推理 ​

5. Experiments ​

5.1 实验设置 ​

5.2 Atomic procedure 主结果 ​

Qwen3.7-Plus ​

GPT-5.4 mini ​

Gemini 3.1 Flash-Lite ​

5.3 提升幅度核算 ​

5.4 结果的真正含义 ​

5.5 子任务、事件、地区和月份 ​

5.6 End-to-end warning chain ​

5.7 Cross-procedure dependency ​

5.8 LLM--human evaluator alignment ​

6. Claims →\rightarrow→ Evidence Mapping ​

7. 理论与数学严谨性 ​

7.1 优点 ​

7.2 高优先级数学问题 ​

7.3 中低优先级形式问题 ​

8. 实验设计与公平性 ​

8.1 做得好的地方 ​

8.2 缺失实验 ​

9. 最关键的局限 ​

Fundamental / 可能影响主要结论 ​

Significant concerns ​

Minor / presentation ​

10. Critical Assessment ​

Strengths ​

Weaknesses & Risks ​

Reviewer Feedback ​

Recommendation ​

Innovation Score: 6/10 ​

11. 与领域现状的对话 ​

12. 可复用研究思路 ​

13. 研究方向与长期前景 ​

是否值得 follow up ​

可能的 scaling bottleneck ​

14. Code Verification ​

可访问性检查 ​

仅凭论文可以核对的项目 ​

15. 科研品味三维评分 ​

16. 最终判断 ​