第 21 章：探索与发现

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

class ReviewersAgent:
    def __init__(self, model="gpt-4o-mini", notes=None, openai_api_key=None):
        if notes is None: 
            self.notes = []
        else: 
            self.notes = notes
        self.model = model
        self.openai_api_key = openai_api_key

    def inference(self, plan, report):
        reviewer_1 = "你是一个严苛但公正的评审，关注实验是否带来研究洞见。"
        review_1 = get_score(outlined_plan=plan, latex=report, reward_model_llm=self.model, reviewer_type=reviewer_1, openai_api_key=self.openai_api_key)

        reviewer_2 = "你是一个严苛且批判但公正的评审，关注研究是否对领域有影响。"
        review_2 = get_score(outlined_plan=plan, latex=report, reward_model_llm=self.model, reviewer_type=reviewer_2, openai_api_key=self.openai_api_key)

        reviewer_3 = "你是一个严苛但公正且开放的评审，关注是否有前所未有的新观点。"
        review_3 = get_score(outlined_plan=plan, latex=report, reward_model_llm=self.model, reviewer_type=reviewer_3, openai_api_key=self.openai_api_key)

        return f"评审 #1:\n{review_1}, \n评审 #2:\n{review_2}, \n评审 #3:\n{review_3}"

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

def get_score(outlined_plan, latex, reward_model_llm, reviewer_type=None, attempts=3, openai_api_key=None):
    e = str()
    for _attempt in range(attempts):
        try:
            template_instructions = """
            请按如下格式回复：

            思考：
            <THOUGHT>

            评审 JSON:
            ```json
            <JSON>
            ```

            在 <THOUGHT> 部分，简要说明你的直觉和评判理由，详细阐述你的高层次观点、必要选择和期望结果。不要泛泛而谈，要针对当前论文具体分析。视为评审的笔记阶段。

            在 <JSON> 部分，按顺序给出如下字段：
            - "Summary": 论文内容及贡献摘要
            - "Strengths": 优点列表
            - "Weaknesses": 缺点列表
            - "Originality": 1-4（低、中、高、极高）
            - "Quality": 1-4（低、中、高、极高）
            - "Clarity": 1-4（低、中、高、极高）
            - "Significance": 1-4（低、中、高、极高）
            - "Questions": 需作者回答的问题
            - "Limitations": 局限性及潜在负面影响
            - "Ethical Concerns": 是否有伦理问题（布尔值）
            - "Soundness": 1-4（差、一般、好、优秀）
            - "Presentation": 1-4（差、一般、好、优秀）
            - "Contribution": 1-4（差、一般、好、优秀）
            - "Overall": 1-10（强烈拒绝到获奖质量）
            - "Confidence": 1-5（低、中、高、极高、绝对）
            - "Decision": 仅用 Accept 或 Reject

            "Decision" 字段只用 Accept 或 Reject，不用弱接受、边界接受、边界拒绝或强烈拒绝。JSON 格式需精确，便于自动解析。
            """
            
            # 这里应该有实际的模型调用逻辑
            # 为了示例完整性，这里省略具体实现
            break
            
        except Exception as ex:
            e = str(ex)
            continue
    
    return template_instructions

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

class ProfessorAgent(BaseAgent):
    def __init__(self, model="gpt4omini", notes=None, max_steps=100, openai_api_key=None):
        super().__init__(model, notes, max_steps, openai_api_key)
        self.phases = ["报告撰写"]

    def generate_readme(self):
        sys_prompt = f"""你是{self.role_description()} \n 这是已完成的论文 \n{self.report}。任务说明：你的目标是整合所有知识、代码、报告和笔记，生成 github 仓库的 readme.md。"""
        history_str = "\n".join([_[1] for _ in self.history])
        prompt = (
            f"""历史记录: {history_str}\n{'~' * 10}\n"""
            f"请用 markdown 生成 readme：\n")
        model_resp = query_model(model_str=self.model, system_prompt=sys_prompt, prompt=prompt, openai_api_key=self.openai_api_key)
        return model_resp.replace("```markdown", "")

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

class PostdocAgent(BaseAgent):
    def __init__(self, model="gpt4omini", notes=None, max_steps=100, openai_api_key=None):
        super().__init__(model, notes, max_steps, openai_api_key)
        self.phases = ["方案制定", "结果解读"]

    def context(self, phase):
        sr_str = str()
        if self.second_round:
            sr_str = (
                f"以下为前次实验结果\n",
                f"前次实验代码：{self.prev_results_code}\n"
                f"前次结果：{self.prev_exp_results}\n"
                f"前次结果解读：{self.prev_interpretation}\n"
                f"前次报告：{self.prev_report}\n"
                f"{self.reviewer_response}\n\n\n"
            )
        if phase == "方案制定":
            return (
                sr_str,
                f"当前文献综述：{self.lit_review_sum}",
            )
        elif phase == "结果解读":
            return (
                sr_str,
                f"当前文献综述：{self.lit_review_sum}\n"
                f"当前方案：{self.plan}\n"
                f"当前数据集代码：{self.dataset_code}\n"
                f"当前实验代码：{self.results_code}\n"
                f"当前结果：{self.exp_results}"
            )
        return ""