+
+功能 | 描述
+--- | ---
+一键润色 | 支持一键润色、一键查找论文语法错误
+一键中英互译 | 一键中英互译
+一键代码解释 | 可以正确显示代码、解释代码
+[自定义快捷键](https://www.bilibili.com/video/BV14s4y1E7jN) | 支持自定义快捷键
+[配置代理服务器](https://www.bilibili.com/video/BV1rc411W7Dr) | 支持配置代理服务器
+模块化设计 | 支持自定义高阶的函数插件与[函数插件]，插件支持[热更新](https://github.com/binary-husky/chatgpt_academic/wiki/%E5%87%BD%E6%95%B0%E6%8F%92%E4%BB%B6%E6%8C%87%E5%8D%97)
+[自我程序剖析](https://www.bilibili.com/video/BV1cj411A7VW) | [函数插件] [一键读懂](https://github.com/binary-husky/chatgpt_academic/wiki/chatgpt-academic%E9%A1%B9%E7%9B%AE%E8%87%AA%E8%AF%91%E8%A7%A3%E6%8A%A5%E5%91%8A)本项目的源代码
+[程序剖析](https://www.bilibili.com/video/BV1cj411A7VW) | [函数插件] 一键可以剖析其他Python/C/C++/Java/Lua/...项目树
+读论文 | [函数插件] 一键解读latex论文全文并生成摘要
+Latex全文翻译、润色 | [函数插件] 一键翻译或润色latex论文
+批量注释生成 | [函数插件] 一键批量生成函数注释
+chat分析报告生成 | [函数插件] 运行后自动生成总结汇报
+Markdown中英互译 | [函数插件] 看到上面5种语言的[README](https://github.com/binary-husky/chatgpt_academic/blob/master/docs/README_EN.md)了吗？
+[arxiv小助手](https://www.bilibili.com/video/BV1LM4y1279X) | [函数插件] 输入arxiv文章url即可一键翻译摘要+下载PDF
+[PDF论文全文翻译功能](https://www.bilibili.com/video/BV1KT411x7Wn) | [函数插件] PDF论文提取题目&摘要+翻译全文（多线程）
+[谷歌学术统合小助手](https://www.bilibili.com/video/BV19L411U7ia) | [函数插件] 给定任意谷歌学术搜索页面URL，让gpt帮你选择有趣的文章
+公式/图片/表格显示 | 可以同时显示公式的tex形式和渲染形式，支持公式、代码高亮
+多线程函数插件支持 | 支持多线调用chatgpt，一键处理海量文本或程序
+启动暗色gradio[主题](https://github.com/binary-husky/chatgpt_academic/issues/173) | 在浏览器url后面添加```/?__dark-theme=true```可以切换dark主题
+[多LLM模型](https://www.bilibili.com/video/BV1wT411p7yf)支持，[API2D](https://api2d.com/)接口支持 | 同时被GPT3.5、GPT4和[清华ChatGLM](https://github.com/THUDM/ChatGLM-6B)伺候的感觉一定会很不错吧？
+huggingface免科学上网[在线体验](https://huggingface.co/spaces/qingxu98/gpt-academic) | 登陆huggingface后复制[此空间](https://huggingface.co/spaces/qingxu98/gpt-academic)
+…… | ……
+
+
+
+
+- 新界面（修改`config.py`中的LAYOUT选项即可实现“左右布局”和“上下布局”的切换）
+
+
+
+
+
+- 所有按钮都通过读取functional.py动态生成，可随意加自定义功能，解放粘贴板
+
+
+
+
+
+- 润色/纠错
+
+
+
+
+
+- 如果输出包含公式，会同时以tex形式和渲染形式显示，方便复制和阅读
+
+
+
+
+
+- 懒得看项目代码？整个工程直接给chatgpt炫嘴里
+
+
+
+
+
+- 多种大语言模型混合调用（ChatGLM + OpenAI-GPT3.5 + [API2D](https://api2d.com/)-GPT4）
+
+
+
+
+
+多种大语言模型混合调用[huggingface测试版](https://huggingface.co/spaces/qingxu98/academic-chatgpt-beta)（huggingface版不支持chatglm）
+
+
+---
+
+## 安装-方法1：直接运行 (Windows, Linux or MacOS)
+
+1. 下载项目
+```sh
+git clone https://github.com/binary-husky/chatgpt_academic.git
+cd chatgpt_academic
+```
+
+2. 配置API_KEY和代理设置
+
+在`config.py`中，配置 海外Proxy 和 OpenAI API KEY，说明如下
+```
+1. 如果你在国内，需要设置海外代理才能够顺利使用OpenAI API，设置方法请仔细阅读config.py（1.修改其中的USE_PROXY为True; 2.按照说明修改其中的proxies）。
+2. 配置 OpenAI API KEY。支持任意数量的OpenAI的密钥和API2D的密钥共存/负载均衡，多个KEY用英文逗号分隔即可，例如输入 API_KEY="OpenAI密钥1,API2D密钥2,OpenAI密钥3,OpenAI密钥4"
+3. 与代理网络有关的issue（网络超时、代理不起作用）汇总到 https://github.com/binary-husky/chatgpt_academic/issues/1
+```
+（P.S. 程序运行时会优先检查是否存在名为`config_private.py`的私密配置文件，并用其中的配置覆盖`config.py`的同名配置。因此，如果您能理解我们的配置读取逻辑，我们强烈建议您在`config.py`旁边创建一个名为`config_private.py`的新配置文件，并把`config.py`中的配置转移（复制）到`config_private.py`中。`config_private.py`不受git管控，可以让您的隐私信息更加安全。）
+
+
+3. 安装依赖
+```sh
+# （选择I: 如熟悉python）推荐
+python -m pip install -r requirements.txt
+# 备注：使用官方pip源或者阿里pip源，其他pip源（如一些大学的pip）有可能出问题，临时换源方法：python -m pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/
+
+# （选择II: 如不熟悉python）使用anaconda，步骤也是类似的：
+# （II-1）conda create -n gptac_venv python=3.11
+# （II-2）conda activate gptac_venv
+# （II-3）python -m pip install -r requirements.txt
+```
+
+如果需要支持清华ChatGLM后端，需要额外安装更多依赖（前提条件：熟悉python + 电脑配置够强）：
+```sh
+python -m pip install -r request_llm/requirements_chatglm.txt
+```
+
+4. 运行
+```sh
+python main.py
+```
+
+5. 测试函数插件
+```
+- 测试Python项目分析
+ （选择1）input区域 输入 `./crazy_functions/test_project/python/dqn` ， 然后点击 "解析整个Python项目"
+ （选择2）展开文件上传区，将python文件/包含python文件的压缩包拖拽进去，在出现反馈提示后， 然后点击 "解析整个Python项目"
+- 测试自我代码解读（本项目自译解）
+ 点击 "[多线程Demo] 解析此项目本身（源码自译解）"
+- 测试函数插件模板函数（要求gpt回答历史上的今天发生了什么），您可以根据此函数为模板，实现更复杂的功能
+ 点击 "[函数插件模板Demo] 历史上的今天"
+- 函数插件区下拉菜单中有更多功能可供选择
+```
+
+## 安装-方法2：使用Docker
+
+1. 仅ChatGPT（推荐大多数人选择）
+
+``` sh
+# 下载项目
+git clone https://github.com/binary-husky/chatgpt_academic.git
+cd chatgpt_academic
+# 配置 “海外Proxy”， “API_KEY” 以及 “WEB_PORT” (例如50923) 等
+用任意文本编辑器编辑 config.py
+# 安装
+docker build -t gpt-academic .
+#（最后一步-选择1）在Linux环境下，用`--net=host`更方便快捷
+docker run --rm -it --net=host gpt-academic
+#（最后一步-选择2）在macOS/windows环境下，只能用-p选项将容器上的端口(例如50923)暴露给主机上的端口
+docker run --rm -it -p 50923:50923 gpt-academic
+```
+
+2. ChatGPT+ChatGLM（需要对Docker熟悉 + 读懂Dockerfile + 电脑配置够强）
+
+``` sh
+# 修改Dockerfile
+cd docs && nano Dockerfile+ChatGLM
+# 构建 （Dockerfile+ChatGLM在docs路径下，请先cd docs）
+docker build -t gpt-academic --network=host -f Dockerfile+ChatGLM .
+# 运行 (1) 直接运行:
+docker run --rm -it --net=host --gpus=all gpt-academic
+# 运行 (2) 我想运行之前进容器做一些调整:
+docker run --rm -it --net=host --gpus=all gpt-academic bash
+```
+
+
+## 安装-方法3：其他部署方式（需要云服务器知识与经验）
+
+1. 远程云服务器部署
+请访问[部署wiki-1](https://github.com/binary-husky/chatgpt_academic/wiki/%E4%BA%91%E6%9C%8D%E5%8A%A1%E5%99%A8%E8%BF%9C%E7%A8%8B%E9%83%A8%E7%BD%B2%E6%8C%87%E5%8D%97)
+
+2. 使用WSL2（Windows Subsystem for Linux 子系统）
+请访问[部署wiki-2](https://github.com/binary-husky/chatgpt_academic/wiki/%E4%BD%BF%E7%94%A8WSL2%EF%BC%88Windows-Subsystem-for-Linux-%E5%AD%90%E7%B3%BB%E7%BB%9F%EF%BC%89%E9%83%A8%E7%BD%B2)
+
+
+## 安装-代理配置
+1. 常规方法
+[配置代理](https://github.com/binary-husky/chatgpt_academic/issues/1)
+
+2. 纯新手教程
+[纯新手教程](https://github.com/binary-husky/chatgpt_academic/wiki/%E4%BB%A3%E7%90%86%E8%BD%AF%E4%BB%B6%E9%97%AE%E9%A2%98%E7%9A%84%E6%96%B0%E6%89%8B%E8%A7%A3%E5%86%B3%E6%96%B9%E6%B3%95%EF%BC%88%E6%96%B9%E6%B3%95%E5%8F%AA%E9%80%82%E7%94%A8%E4%BA%8E%E6%96%B0%E6%89%8B%EF%BC%89)
+
+
+---
+
+## 自定义新的便捷按钮 / 自定义函数插件
+
+1. 自定义新的便捷按钮（学术快捷键）
+任意文本编辑器打开`core_functional.py`，添加条目如下，然后重启程序即可。（如果按钮已经添加成功并可见，那么前缀、后缀都支持热修改，无需重启程序即可生效。）
+例如
+```
+"超级英译中": {
+ # 前缀，会被加在你的输入之前。例如，用来描述你的要求，例如翻译、解释代码、润色等等
+ "Prefix": "请翻译把下面一段内容成中文，然后用一个markdown表格逐一解释文中出现的专有名词：\n\n",
+
+ # 后缀，会被加在你的输入之后。例如，配合前缀可以把你的输入内容用引号圈起来。
+ "Suffix": "",
+},
+```
+
+
+
+
+
+2. 自定义函数插件
+
+编写强大的函数插件来执行任何你想得到的和想不到的任务。
+本项目的插件编写、调试难度很低，只要您具备一定的python基础知识，就可以仿照我们提供的模板实现自己的插件功能。
+详情请参考[函数插件指南](https://github.com/binary-husky/chatgpt_academic/wiki/%E5%87%BD%E6%95%B0%E6%8F%92%E4%BB%B6%E6%8C%87%E5%8D%97)。
+
+
+---
+
+
+## 部分功能展示
+
+1. 图片显示：
+
+
+
+
+
+
+2. 本项目的代码自译解（如果一个程序能够读懂并剖析自己）：
+
+
+
+
+
+
+
+
+
+
+
+3. 其他任意Python/Cpp/Java/Go/Rect/...项目剖析：
+
+
+
+
+
+
+
+
+
+
+4. Latex论文一键阅读理解与摘要生成
+
+
+
+
+
+5. 自动报告生成
+
+
+
+
+
+
+
+6. 模块化功能设计
+
+
+
+
+
+
+
+
+
+7. 源代码转译英文
+
+
+
+
+
+
+
+8. 互联网在线信息综合
+
+
+
+
+
+
+
+
+## Todo 与 版本规划:
+- version 3.2+ (todo): 函数插件支持更多参数接口
+- version 3.1: 支持同时问询多个gpt模型！支持api2d，支持多个apikey负载均衡
+- version 3.0: 对chatglm和其他小型llm的支持
+- version 2.6: 重构了插件结构，提高了交互性，加入更多插件
+- version 2.5: 自更新，解决总结大工程源代码时文本过长、token溢出的问题
+- version 2.4: (1)新增PDF全文翻译功能; (2)新增输入区切换位置的功能; (3)新增垂直布局选项; (4)多线程函数插件优化。
+- version 2.3: 增强多线程交互性
+- version 2.2: 函数插件支持热重载
+- version 2.1: 可折叠式布局
+- version 2.0: 引入模块化函数插件
+- version 1.0: 基础功能
+
+## 参考与学习
+
+```
+代码中参考了很多其他优秀项目中的设计，主要包括：
+
+# 借鉴项目1：借鉴了ChuanhuChatGPT中诸多技巧
+https://github.com/GaiZhenbiao/ChuanhuChatGPT
+
+# 借鉴项目2：清华ChatGLM-6B：
+https://github.com/THUDM/ChatGLM-6B
+```
diff --git a/check_proxy.py b/check_proxy.py
new file mode 100644
index 0000000000000000000000000000000000000000..28711a8c140bfcdb0683efd924032e6ccc0f0df8
--- /dev/null
+++ b/check_proxy.py
@@ -0,0 +1,149 @@
+
+def check_proxy(proxies):
+ import requests
+ proxies_https = proxies['https'] if proxies is not None else '无'
+ try:
+ response = requests.get("https://ipapi.co/json/",
+ proxies=proxies, timeout=4)
+ data = response.json()
+ print(f'查询代理的地理位置，返回的结果是{data}')
+ if 'country_name' in data:
+ country = data['country_name']
+ result = f"代理配置 {proxies_https}, 代理所在地：{country}"
+ elif 'error' in data:
+ result = f"代理配置 {proxies_https}, 代理所在地：未知，IP查询频率受限"
+ print(result)
+ return result
+ except:
+ result = f"代理配置 {proxies_https}, 代理所在地查询超时，代理可能无效"
+ print(result)
+ return result
+
+
+def backup_and_download(current_version, remote_version):
+ """
+ 一键更新协议：备份和下载
+ """
+ from toolbox import get_conf
+ import shutil
+ import os
+ import requests
+ import zipfile
+ os.makedirs(f'./history', exist_ok=True)
+ backup_dir = f'./history/backup-{current_version}/'
+ new_version_dir = f'./history/new-version-{remote_version}/'
+ if os.path.exists(new_version_dir):
+ return new_version_dir
+ os.makedirs(new_version_dir)
+ shutil.copytree('./', backup_dir, ignore=lambda x, y: ['history'])
+ proxies, = get_conf('proxies')
+ r = requests.get(
+ 'https://github.com/binary-husky/chatgpt_academic/archive/refs/heads/master.zip', proxies=proxies, stream=True)
+ zip_file_path = backup_dir+'/master.zip'
+ with open(zip_file_path, 'wb+') as f:
+ f.write(r.content)
+ dst_path = new_version_dir
+ with zipfile.ZipFile(zip_file_path, "r") as zip_ref:
+ for zip_info in zip_ref.infolist():
+ dst_file_path = os.path.join(dst_path, zip_info.filename)
+ if os.path.exists(dst_file_path):
+ os.remove(dst_file_path)
+ zip_ref.extract(zip_info, dst_path)
+ return new_version_dir
+
+
+def patch_and_restart(path):
+ """
+ 一键更新协议：覆盖和重启
+ """
+ import distutils
+ import shutil
+ import os
+ import sys
+ import time
+ from colorful import print亮黄, print亮绿, print亮红
+ # if not using config_private, move origin config.py as config_private.py
+ if not os.path.exists('config_private.py'):
+ print亮黄('由于您没有设置config_private.py私密配置，现将您的现有配置移动至config_private.py以防止配置丢失，',
+ '另外您可以随时在history子文件夹下找回旧版的程序。')
+ shutil.copyfile('config.py', 'config_private.py')
+ distutils.dir_util.copy_tree(path+'/chatgpt_academic-master', './')
+ import subprocess
+ print亮绿('代码已经更新，即将更新pip包依赖……')
+ for i in reversed(range(5)): time.sleep(1); print(i)
+ try:
+ subprocess.check_call([sys.executable, '-m', 'pip', 'install', '-r', 'requirements.txt'])
+ except:
+ print亮红('pip包依赖安装出现问题，需要手动安装新增的依赖库 `python -m pip install -r requirements.txt`，然后在用常规的`python main.py`的方式启动。')
+ print亮绿('更新完成，您可以随时在history子文件夹下找回旧版的程序，5s之后重启')
+ print亮红('假如重启失败，您可能需要手动安装新增的依赖库 `python -m pip install -r requirements.txt`，然后在用常规的`python main.py`的方式启动。')
+ print(' ------------------------------ -----------------------------------')
+ for i in reversed(range(8)): time.sleep(1); print(i)
+ os.execl(sys.executable, sys.executable, *sys.argv)
+
+
+def get_current_version():
+ import json
+ try:
+ with open('./version', 'r', encoding='utf8') as f:
+ current_version = json.loads(f.read())['version']
+ except:
+ current_version = ""
+ return current_version
+
+
+def auto_update():
+ """
+ 一键更新协议：查询版本和用户意见
+ """
+ try:
+ from toolbox import get_conf
+ import requests
+ import time
+ import json
+ proxies, = get_conf('proxies')
+ response = requests.get(
+ "https://raw.githubusercontent.com/binary-husky/chatgpt_academic/master/version", proxies=proxies, timeout=5)
+ remote_json_data = json.loads(response.text)
+ remote_version = remote_json_data['version']
+ if remote_json_data["show_feature"]:
+ new_feature = "新功能：" + remote_json_data["new_feature"]
+ else:
+ new_feature = ""
+ with open('./version', 'r', encoding='utf8') as f:
+ current_version = f.read()
+ current_version = json.loads(current_version)['version']
+ if (remote_version - current_version) >= 0.01:
+ from colorful import print亮黄
+ print亮黄(
+ f'\n新版本可用。新版本:{remote_version}，当前版本:{current_version}。{new_feature}')
+ print('（1）Github更新地址:\nhttps://github.com/binary-husky/chatgpt_academic\n')
+ user_instruction = input('（2）是否一键更新代码（Y+回车=确认，输入其他/无输入+回车=不更新）？')
+ if user_instruction in ['Y', 'y']:
+ path = backup_and_download(current_version, remote_version)
+ try:
+ patch_and_restart(path)
+ except:
+ print('更新失败。')
+ else:
+ print('自动更新程序：已禁用')
+ return
+ else:
+ return
+ except:
+ print('自动更新程序：已禁用')
+
+def warm_up_modules():
+ print('正在执行一些模块的预热...')
+ from request_llm.bridge_all import model_info
+ enc = model_info["gpt-3.5-turbo"]['tokenizer']
+ enc.encode("模块预热", disallowed_special=())
+ enc = model_info["gpt-4"]['tokenizer']
+ enc.encode("模块预热", disallowed_special=())
+
+if __name__ == '__main__':
+ import os
+ os.environ['no_proxy'] = '*' # 避免代理网络产生意外污染
+ from toolbox import get_conf
+ proxies, = get_conf('proxies')
+ check_proxy(proxies)
diff --git a/colorful.py b/colorful.py
new file mode 100644
index 0000000000000000000000000000000000000000..d90972bb30a8f8fb932abbc34232e474df4d5205
--- /dev/null
+++ b/colorful.py
@@ -0,0 +1,91 @@
+import platform
+from sys import stdout
+
+if platform.system()=="Linux":
+ pass
+else:
+ from colorama import init
+ init()
+
+# Do you like the elegance of Chinese characters?
+def print红(*kw,**kargs):
+ print("\033[0;31m",*kw,"\033[0m",**kargs)
+def print绿(*kw,**kargs):
+ print("\033[0;32m",*kw,"\033[0m",**kargs)
+def print黄(*kw,**kargs):
+ print("\033[0;33m",*kw,"\033[0m",**kargs)
+def print蓝(*kw,**kargs):
+ print("\033[0;34m",*kw,"\033[0m",**kargs)
+def print紫(*kw,**kargs):
+ print("\033[0;35m",*kw,"\033[0m",**kargs)
+def print靛(*kw,**kargs):
+ print("\033[0;36m",*kw,"\033[0m",**kargs)
+
+def print亮红(*kw,**kargs):
+ print("\033[1;31m",*kw,"\033[0m",**kargs)
+def print亮绿(*kw,**kargs):
+ print("\033[1;32m",*kw,"\033[0m",**kargs)
+def print亮黄(*kw,**kargs):
+ print("\033[1;33m",*kw,"\033[0m",**kargs)
+def print亮蓝(*kw,**kargs):
+ print("\033[1;34m",*kw,"\033[0m",**kargs)
+def print亮紫(*kw,**kargs):
+ print("\033[1;35m",*kw,"\033[0m",**kargs)
+def print亮靛(*kw,**kargs):
+ print("\033[1;36m",*kw,"\033[0m",**kargs)
+
+
+
+def print亮红(*kw,**kargs):
+ print("\033[1;31m",*kw,"\033[0m",**kargs)
+def print亮绿(*kw,**kargs):
+ print("\033[1;32m",*kw,"\033[0m",**kargs)
+def print亮黄(*kw,**kargs):
+ print("\033[1;33m",*kw,"\033[0m",**kargs)
+def print亮蓝(*kw,**kargs):
+ print("\033[1;34m",*kw,"\033[0m",**kargs)
+def print亮紫(*kw,**kargs):
+ print("\033[1;35m",*kw,"\033[0m",**kargs)
+def print亮靛(*kw,**kargs):
+ print("\033[1;36m",*kw,"\033[0m",**kargs)
+
+print_red = print红
+print_green = print绿
+print_yellow = print黄
+print_blue = print蓝
+print_purple = print紫
+print_indigo = print靛
+
+print_bold_red = print亮红
+print_bold_green = print亮绿
+print_bold_yellow = print亮黄
+print_bold_blue = print亮蓝
+print_bold_purple = print亮紫
+print_bold_indigo = print亮靛
+
+if not stdout.isatty():
+ # redirection, avoid a fucked up log file
+ print红 = print
+ print绿 = print
+ print黄 = print
+ print蓝 = print
+ print紫 = print
+ print靛 = print
+ print亮红 = print
+ print亮绿 = print
+ print亮黄 = print
+ print亮蓝 = print
+ print亮紫 = print
+ print亮靛 = print
+ print_red = print
+ print_green = print
+ print_yellow = print
+ print_blue = print
+ print_purple = print
+ print_indigo = print
+ print_bold_red = print
+ print_bold_green = print
+ print_bold_yellow = print
+ print_bold_blue = print
+ print_bold_purple = print
+ print_bold_indigo = print
\ No newline at end of file
diff --git a/config.py b/config.py
new file mode 100644
index 0000000000000000000000000000000000000000..6da37810736c62ae5943758d76cd8af27e9e3e3c
--- /dev/null
+++ b/config.py
@@ -0,0 +1,62 @@
+# [step 1]>> 例如： API_KEY = "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" （此key无效）
+API_KEY = "sk-此处填API密钥" # 可同时填写多个API-KEY，用英文逗号分割，例如API_KEY = "sk-openaikey1,sk-openaikey2,fkxxxx-api2dkey1,fkxxxx-api2dkey2"
+
+# [step 2]>> 改为True应用代理，如果直接在海外服务器部署，此处不修改
+USE_PROXY = False
+if USE_PROXY:
+ # 填写格式是 [协议]:// [地址] :[端口]，填写之前不要忘记把USE_PROXY改成True，如果直接在海外服务器部署，此处不修改
+ # 例如 "socks5h://localhost:11284"
+ # [协议] 常见协议无非socks5h/http; 例如 v2**y 和 ss* 的默认本地协议是socks5h; 而cl**h 的默认本地协议是http
+ # [地址] 懂的都懂，不懂就填localhost或者127.0.0.1肯定错不了（localhost意思是代理软件安装在本机上）
+ # [端口] 在代理软件的设置里找。虽然不同的代理软件界面不一样，但端口号都应该在最显眼的位置上
+
+ # 代理网络的地址，打开你的科学上网软件查看代理的协议(socks5/http)、地址(localhost)和端口(11284)
+ proxies = {
+ # [协议]:// [地址] :[端口]
+ "http": "socks5h://localhost:11284",
+ "https": "socks5h://localhost:11284",
+ }
+else:
+ proxies = None
+
+# [step 3]>> 多线程函数插件中，默认允许多少路线程同时访问OpenAI。Free trial users的限制是每分钟3次，Pay-as-you-go users的限制是每分钟3500次
+# 一言以蔽之：免费用户填3，OpenAI绑了信用卡的用户可以填 16 或者更高。提高限制请查询：https://platform.openai.com/docs/guides/rate-limits/overview
+DEFAULT_WORKER_NUM = 3
+
+
+# [step 4]>> 以下配置可以优化体验，但大部分场合下并不需要修改
+# 对话窗的高度
+CHATBOT_HEIGHT = 1115
+
+# 代码高亮
+CODE_HIGHLIGHT = True
+
+# 窗口布局
+LAYOUT = "LEFT-RIGHT" # "LEFT-RIGHT"（左右布局） # "TOP-DOWN"（上下布局）
+
+# 发送请求到OpenAI后，等待多久判定为超时
+TIMEOUT_SECONDS = 30
+
+# 网页的端口, -1代表随机端口
+WEB_PORT = -1
+
+# 如果OpenAI不响应（网络卡顿、代理失败、KEY失效），重试的次数限制
+MAX_RETRY = 2
+
+# OpenAI模型选择是（gpt4现在只对申请成功的人开放）
+LLM_MODEL = "gpt-3.5-turbo" # 可选 "chatglm"
+AVAIL_LLM_MODELS = ["gpt-3.5-turbo", "gpt-4", "api2d-gpt-4", "api2d-gpt-3.5-turbo"]
+
+# 本地LLM模型如ChatGLM的执行方式 CPU/GPU
+LOCAL_MODEL_DEVICE = "cpu" # 可选 "cuda"
+
+# 设置gradio的并行线程数（不需要修改）
+CONCURRENT_COUNT = 100
+
+# 设置用户名和密码（不需要修改）（相关功能不稳定，与gradio版本和网络都相关，如果本地使用不建议加这个）
+# [("username", "password"), ("username2", "password2"), ...]
+AUTHENTICATION = []
+
+# 重新URL重新定向，实现更换API_URL的作用（常规情况下，不要修改！！）
+# 格式 {"https://api.openai.com/v1/chat/completions": "重定向的URL"}
+API_URL_REDIRECT = {}
diff --git a/core_functional.py b/core_functional.py
new file mode 100644
index 0000000000000000000000000000000000000000..536ccb609c38cbbebfda4ba17bd51a78857d711e
--- /dev/null
+++ b/core_functional.py
@@ -0,0 +1,71 @@
+# 'primary' 颜色对应 theme.py 中的 primary_hue
+# 'secondary' 颜色对应 theme.py 中的 neutral_hue
+# 'stop' 颜色对应 theme.py 中的 color_er
+# 默认按钮颜色是 secondary
+from toolbox import clear_line_break
+
+
+def get_core_functions():
+ return {
+ "英语学术润色": {
+ # 前言
+ "Prefix": r"Below is a paragraph from an academic paper. Polish the writing to meet the academic style, " +
+ r"improve the spelling, grammar, clarity, concision and overall readability. When necessary, rewrite the whole sentence. " +
+ r"Furthermore, list all modification and explain the reasons to do so in markdown table." + "\n\n",
+ # 后语
+ "Suffix": r"",
+ "Color": r"secondary", # 按钮颜色
+ },
+ "中文学术润色": {
+ "Prefix": r"作为一名中文学术论文写作改进助理，你的任务是改进所提供文本的拼写、语法、清晰、简洁和整体可读性，" +
+ r"同时分解长句，减少重复，并提供改进建议。请只提供文本的更正版本，避免包括解释。请编辑以下文本" + "\n\n",
+ "Suffix": r"",
+ },
+ "查找语法错误": {
+ "Prefix": r"Can you help me ensure that the grammar and the spelling is correct? " +
+ r"Do not try to polish the text, if no mistake is found, tell me that this paragraph is good." +
+ r"If you find grammar or spelling mistakes, please list mistakes you find in a two-column markdown table, " +
+ r"put the original text the first column, " +
+ r"put the corrected text in the second column and highlight the key words you fixed.""\n"
+ r"Example:""\n"
+ r"Paragraph: How is you? Do you knows what is it?""\n"
+ r"| Original sentence | Corrected sentence |""\n"
+ r"| :--- | :--- |""\n"
+ r"| How **is** you? | How **are** you? |""\n"
+ r"| Do you **knows** what **is** **it**? | Do you **know** what **it** **is** ? |""\n"
+ r"Below is a paragraph from an academic paper. "
+ r"You need to report all grammar and spelling mistakes as the example before."
+ + "\n\n",
+ "Suffix": r"",
+ "PreProcess": clear_line_break, # 预处理：清除换行符
+ },
+ "中译英": {
+ "Prefix": r"Please translate following sentence to English:" + "\n\n",
+ "Suffix": r"",
+ },
+ "学术中英互译": {
+ "Prefix": r"I want you to act as a scientific English-Chinese translator, " +
+ r"I will provide you with some paragraphs in one language " +
+ r"and your task is to accurately and academically translate the paragraphs only into the other language. " +
+ r"Do not repeat the original provided paragraphs after translation. " +
+ r"You should use artificial intelligence tools, " +
+ r"such as natural language processing, and rhetorical knowledge " +
+ r"and experience about effective writing techniques to reply. " +
+ r"I'll give you my paragraphs as follows, tell me what language it is written in, and then translate:" + "\n\n",
+ "Suffix": "",
+ "Color": "secondary",
+ },
+ "英译中": {
+ "Prefix": r"翻译成地道的中文：" + "\n\n",
+ "Suffix": r"",
+ },
+ "找图片": {
+ "Prefix": r"我需要你找一张网络图片。使用Unsplash API(https://source.unsplash.com/960x640/?<英语关键词>)获取图片URL，" +
+ r"然后请使用Markdown格式封装，并且不要有反斜线，不要用代码块。现在，请按以下描述给我发送图片：" + "\n\n",
+ "Suffix": r"",
+ },
+ "解释代码": {
+ "Prefix": r"请解释以下代码：" + "\n```\n",
+ "Suffix": "\n```\n",
+ },
+ }
diff --git a/crazy_functional.py b/crazy_functional.py
new file mode 100644
index 0000000000000000000000000000000000000000..8e3ab6a8a418a1b9a343b1cfac374ed77c938cbd
--- /dev/null
+++ b/crazy_functional.py
@@ -0,0 +1,195 @@
+from toolbox import HotReload # HotReload 的意思是热更新，修改函数插件后，不需要重启程序，代码直接生效
+
+
+def get_crazy_functions():
+ ###################### 第一组插件 ###########################
+ from crazy_functions.读文章写摘要 import 读文章写摘要
+ from crazy_functions.生成函数注释 import 批量生成函数注释
+ from crazy_functions.解析项目源代码 import 解析项目本身
+ from crazy_functions.解析项目源代码 import 解析一个Python项目
+ from crazy_functions.解析项目源代码 import 解析一个C项目的头文件
+ from crazy_functions.解析项目源代码 import 解析一个C项目
+ from crazy_functions.解析项目源代码 import 解析一个Golang项目
+ from crazy_functions.解析项目源代码 import 解析一个Java项目
+ from crazy_functions.解析项目源代码 import 解析一个Rect项目
+ from crazy_functions.高级功能函数模板 import 高阶功能模板函数
+ from crazy_functions.代码重写为全英文_多线程 import 全项目切换英文
+ from crazy_functions.Latex全文润色 import Latex英文润色
+ from crazy_functions.询问多个大语言模型 import 同时问询
+ from crazy_functions.解析项目源代码 import 解析一个Lua项目
+ from crazy_functions.解析项目源代码 import 解析一个CSharp项目
+ from crazy_functions.总结word文档 import 总结word文档
+ function_plugins = {
+
+ "解析整个Python项目": {
+ "Color": "stop", # 按钮颜色
+ "Function": HotReload(解析一个Python项目)
+ },
+ "批量总结Word文档": {
+ "Color": "stop",
+ "Function": HotReload(总结word文档)
+ },
+ "解析整个C++项目头文件": {
+ "Color": "stop", # 按钮颜色
+ "AsButton": False, # 加入下拉菜单中
+ "Function": HotReload(解析一个C项目的头文件)
+ },
+ "解析整个C++项目（.cpp/.hpp/.c/.h）": {
+ "Color": "stop", # 按钮颜色
+ "AsButton": False, # 加入下拉菜单中
+ "Function": HotReload(解析一个C项目)
+ },
+ "解析整个Go项目": {
+ "Color": "stop", # 按钮颜色
+ "AsButton": False, # 加入下拉菜单中
+ "Function": HotReload(解析一个Golang项目)
+ },
+ "解析整个Java项目": {
+ "Color": "stop", # 按钮颜色
+ "AsButton": False, # 加入下拉菜单中
+ "Function": HotReload(解析一个Java项目)
+ },
+ "解析整个React项目": {
+ "Color": "stop", # 按钮颜色
+ "AsButton": False, # 加入下拉菜单中
+ "Function": HotReload(解析一个Rect项目)
+ },
+ "解析整个Lua项目": {
+ "Color": "stop", # 按钮颜色
+ "AsButton": False, # 加入下拉菜单中
+ "Function": HotReload(解析一个Lua项目)
+ },
+ "解析整个CSharp项目": {
+ "Color": "stop", # 按钮颜色
+ "AsButton": False, # 加入下拉菜单中
+ "Function": HotReload(解析一个CSharp项目)
+ },
+ "读Tex论文写摘要": {
+ "Color": "stop", # 按钮颜色
+ "Function": HotReload(读文章写摘要)
+ },
+ "批量生成函数注释": {
+ "Color": "stop", # 按钮颜色
+ "Function": HotReload(批量生成函数注释)
+ },
+ "[多线程Demo] 解析此项目本身（源码自译解）": {
+ "Function": HotReload(解析项目本身)
+ },
+ "[多线程demo] 把本项目源代码切换成全英文": {
+ # HotReload 的意思是热更新，修改函数插件代码后，不需要重启程序，代码直接生效
+ "AsButton": False, # 加入下拉菜单中
+ "Function": HotReload(全项目切换英文)
+ },
+ "[函数插件模板Demo] 历史上的今天": {
+ # HotReload 的意思是热更新，修改函数插件代码后，不需要重启程序，代码直接生效
+ "Function": HotReload(高阶功能模板函数)
+ },
+
+ }
+ ###################### 第二组插件 ###########################
+ # [第二组插件]: 经过充分测试
+ from crazy_functions.批量总结PDF文档 import 批量总结PDF文档
+ from crazy_functions.批量总结PDF文档pdfminer import 批量总结PDF文档pdfminer
+ from crazy_functions.批量翻译PDF文档_多线程 import 批量翻译PDF文档
+ from crazy_functions.谷歌检索小助手 import 谷歌检索小助手
+ from crazy_functions.理解PDF文档内容 import 理解PDF文档内容标准文件输入
+ from crazy_functions.Latex全文润色 import Latex中文润色
+ from crazy_functions.Latex全文翻译 import Latex中译英
+ from crazy_functions.Latex全文翻译 import Latex英译中
+ from crazy_functions.批量Markdown翻译 import Markdown中译英
+ from crazy_functions.批量Markdown翻译 import Markdown英译中
+
+ function_plugins.update({
+ "批量翻译PDF文档（多线程）": {
+ "Color": "stop",
+ "AsButton": True, # 加入下拉菜单中
+ "Function": HotReload(批量翻译PDF文档)
+ },
+ "询问多个GPT模型": {
+ "Color": "stop", # 按钮颜色
+ "Function": HotReload(同时问询)
+ },
+ "[测试功能] 批量总结PDF文档": {
+ "Color": "stop",
+ "AsButton": False, # 加入下拉菜单中
+ # HotReload 的意思是热更新，修改函数插件代码后，不需要重启程序，代码直接生效
+ "Function": HotReload(批量总结PDF文档)
+ },
+ "[测试功能] 批量总结PDF文档pdfminer": {
+ "Color": "stop",
+ "AsButton": False, # 加入下拉菜单中
+ "Function": HotReload(批量总结PDF文档pdfminer)
+ },
+ "谷歌学术检索助手（输入谷歌学术搜索页url）": {
+ "Color": "stop",
+ "AsButton": False, # 加入下拉菜单中
+ "Function": HotReload(谷歌检索小助手)
+ },
+
+ "理解PDF文档内容 （模仿ChatPDF）": {
+ # HotReload 的意思是热更新，修改函数插件代码后，不需要重启程序，代码直接生效
+ "Color": "stop",
+ "AsButton": False, # 加入下拉菜单中
+ "Function": HotReload(理解PDF文档内容标准文件输入)
+ },
+ "[测试功能] 英文Latex项目全文润色（输入路径或上传压缩包）": {
+ # HotReload 的意思是热更新，修改函数插件代码后，不需要重启程序，代码直接生效
+ "Color": "stop",
+ "AsButton": False, # 加入下拉菜单中
+ "Function": HotReload(Latex英文润色)
+ },
+ "[测试功能] 中文Latex项目全文润色（输入路径或上传压缩包）": {
+ # HotReload 的意思是热更新，修改函数插件代码后，不需要重启程序，代码直接生效
+ "Color": "stop",
+ "AsButton": False, # 加入下拉菜单中
+ "Function": HotReload(Latex中文润色)
+ },
+ "[测试功能] Latex项目全文中译英（输入路径或上传压缩包）": {
+ # HotReload 的意思是热更新，修改函数插件代码后，不需要重启程序，代码直接生效
+ "Color": "stop",
+ "AsButton": False, # 加入下拉菜单中
+ "Function": HotReload(Latex中译英)
+ },
+ "[测试功能] Latex项目全文英译中（输入路径或上传压缩包）": {
+ # HotReload 的意思是热更新，修改函数插件代码后，不需要重启程序，代码直接生效
+ "Color": "stop",
+ "AsButton": False, # 加入下拉菜单中
+ "Function": HotReload(Latex英译中)
+ },
+ "[测试功能] 批量Markdown中译英（输入路径或上传压缩包）": {
+ # HotReload 的意思是热更新，修改函数插件代码后，不需要重启程序，代码直接生效
+ "Color": "stop",
+ "AsButton": False, # 加入下拉菜单中
+ "Function": HotReload(Markdown中译英)
+ },
+ "[测试功能] 批量Markdown英译中（输入路径或上传压缩包）": {
+ # HotReload 的意思是热更新，修改函数插件代码后，不需要重启程序，代码直接生效
+ "Color": "stop",
+ "AsButton": False, # 加入下拉菜单中
+ "Function": HotReload(Markdown英译中)
+ },
+
+ })
+
+ ###################### 第三组插件 ###########################
+ # [第三组插件]: 尚未充分测试的函数插件，放在这里
+ from crazy_functions.下载arxiv论文翻译摘要 import 下载arxiv论文并翻译摘要
+ function_plugins.update({
+ "一键下载arxiv论文并翻译摘要（先在input输入编号，如1812.10695）": {
+ "Color": "stop",
+ "AsButton": False, # 加入下拉菜单中
+ "Function": HotReload(下载arxiv论文并翻译摘要)
+ }
+ })
+
+ from crazy_functions.联网的ChatGPT import 连接网络回答问题
+ function_plugins.update({
+ "连接网络回答问题（先输入问题，再点击按钮，需要访问谷歌）": {
+ "Color": "stop",
+ "AsButton": False, # 加入下拉菜单中
+ "Function": HotReload(连接网络回答问题)
+ }
+ })
+
+ ###################### 第n组插件 ###########################
+ return function_plugins
diff --git "a/crazy_functions/Latex\345\205\250\346\226\207\346\266\246\350\211\262.py" "b/crazy_functions/Latex\345\205\250\346\226\207\346\266\246\350\211\262.py"
new file mode 100644
index 0000000000000000000000000000000000000000..c299e59d3894b7ac2d33df1502746adaef4a47b8
--- /dev/null
+++ "b/crazy_functions/Latex\345\205\250\346\226\207\346\266\246\350\211\262.py"
@@ -0,0 +1,175 @@
+from toolbox import update_ui
+from toolbox import CatchException, report_execption, write_results_to_file
+fast_debug = False
+
+class PaperFileGroup():
+ def __init__(self):
+ self.file_paths = []
+ self.file_contents = []
+ self.sp_file_contents = []
+ self.sp_file_index = []
+ self.sp_file_tag = []
+
+ # count_token
+ from request_llm.bridge_all import model_info
+ enc = model_info["gpt-3.5-turbo"]['tokenizer']
+ def get_token_num(txt): return len(enc.encode(txt, disallowed_special=()))
+ self.get_token_num = get_token_num
+
+ def run_file_split(self, max_token_limit=1900):
+ """
+ 将长文本分离开来
+ """
+ for index, file_content in enumerate(self.file_contents):
+ if self.get_token_num(file_content) < max_token_limit:
+ self.sp_file_contents.append(file_content)
+ self.sp_file_index.append(index)
+ self.sp_file_tag.append(self.file_paths[index])
+ else:
+ from .crazy_utils import breakdown_txt_to_satisfy_token_limit_for_pdf
+ segments = breakdown_txt_to_satisfy_token_limit_for_pdf(file_content, self.get_token_num, max_token_limit)
+ for j, segment in enumerate(segments):
+ self.sp_file_contents.append(segment)
+ self.sp_file_index.append(index)
+ self.sp_file_tag.append(self.file_paths[index] + f".part-{j}.tex")
+
+ print('Segmentation: done')
+
+def 多文件润色(file_manifest, project_folder, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, language='en'):
+ import time, os, re
+ from .crazy_utils import request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency
+
+
+ # <-------- 读取Latex文件，删除其中的所有注释 ---------->
+ pfg = PaperFileGroup()
+
+ for index, fp in enumerate(file_manifest):
+ with open(fp, 'r', encoding='utf-8', errors='replace') as f:
+ file_content = f.read()
+ # 定义注释的正则表达式
+ comment_pattern = r'%.*'
+ # 使用正则表达式查找注释，并替换为空字符串
+ clean_tex_content = re.sub(comment_pattern, '', file_content)
+ # 记录删除注释后的文本
+ pfg.file_paths.append(fp)
+ pfg.file_contents.append(clean_tex_content)
+
+ # <-------- 拆分过长的latex文件 ---------->
+ pfg.run_file_split(max_token_limit=1024)
+ n_split = len(pfg.sp_file_contents)
+
+ # <-------- 抽取摘要 ---------->
+ # if language == 'en':
+ # abs_extract_inputs = f"Please write an abstract for this paper"
+
+ # # 单线，获取文章meta信息
+ # paper_meta_info = yield from request_gpt_model_in_new_thread_with_ui_alive(
+ # inputs=abs_extract_inputs,
+ # inputs_show_user=f"正在抽取摘要信息。",
+ # llm_kwargs=llm_kwargs,
+ # chatbot=chatbot, history=[],
+ # sys_prompt="Your job is to collect information from materials。",
+ # )
+
+ # <-------- 多线程润色开始 ---------->
+ if language == 'en':
+ inputs_array = ["Below is a section from an academic paper, polish this section to meet the academic standard, improve the grammar, clarity and overall readability, do not modify any latex command such as \section, \cite and equations:" +
+ f"\n\n{frag}" for frag in pfg.sp_file_contents]
+ inputs_show_user_array = [f"Polish {f}" for f in pfg.sp_file_tag]
+ sys_prompt_array = ["You are a professional academic paper writer." for _ in range(n_split)]
+ elif language == 'zh':
+ inputs_array = [f"以下是一篇学术论文中的一段内容，请将此部分润色以满足学术标准，提高语法、清晰度和整体可读性，不要修改任何LaTeX命令，例如\section，\cite和方程式：" +
+ f"\n\n{frag}" for frag in pfg.sp_file_contents]
+ inputs_show_user_array = [f"润色 {f}" for f in pfg.sp_file_tag]
+ sys_prompt_array=["你是一位专业的中文学术论文作家。" for _ in range(n_split)]
+
+
+ gpt_response_collection = yield from request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency(
+ inputs_array=inputs_array,
+ inputs_show_user_array=inputs_show_user_array,
+ llm_kwargs=llm_kwargs,
+ chatbot=chatbot,
+ history_array=[[""] for _ in range(n_split)],
+ sys_prompt_array=sys_prompt_array,
+ # max_workers=5, # 并行任务数量限制，最多同时执行5个，其他的排队等待
+ scroller_max_len = 80
+ )
+
+ # <-------- 整理结果，退出 ---------->
+ create_report_file_name = time.strftime("%Y-%m-%d-%H-%M-%S", time.localtime()) + f"-chatgpt.polish.md"
+ res = write_results_to_file(gpt_response_collection, file_name=create_report_file_name)
+ history = gpt_response_collection
+ chatbot.append((f"{fp}完成了吗？", res))
+ yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
+
+
+@CatchException
+def Latex英文润色(txt, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, web_port):
+ # 基本信息：功能、贡献者
+ chatbot.append([
+ "函数插件功能？",
+ "对整个Latex项目进行润色。函数插件贡献者: Binary-Husky"])
+ yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
+
+ # 尝试导入依赖，如果缺少依赖，则给出安装建议
+ try:
+ import tiktoken
+ except:
+ report_execption(chatbot, history,
+ a=f"解析项目: {txt}",
+ b=f"导入软件依赖失败。使用该模块需要额外依赖，安装方法```pip install --upgrade tiktoken```。")
+ yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
+ return
+ history = [] # 清空历史，以免输入溢出
+ import glob, os
+ if os.path.exists(txt):
+ project_folder = txt
+ else:
+ if txt == "": txt = '空空如也的输入栏'
+ report_execption(chatbot, history, a = f"解析项目: {txt}", b = f"找不到本地项目或无权访问: {txt}")
+ yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
+ return
+ file_manifest = [f for f in glob.glob(f'{project_folder}/**/*.tex', recursive=True)]
+ if len(file_manifest) == 0:
+ report_execption(chatbot, history, a = f"解析项目: {txt}", b = f"找不到任何.tex文件: {txt}")
+ yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
+ return
+ yield from 多文件润色(file_manifest, project_folder, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, language='en')
+
+
+
+
+
+
+@CatchException
+def Latex中文润色(txt, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, web_port):
+ # 基本信息：功能、贡献者
+ chatbot.append([
+ "函数插件功能？",
+ "对整个Latex项目进行润色。函数插件贡献者: Binary-Husky"])
+ yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
+
+ # 尝试导入依赖，如果缺少依赖，则给出安装建议
+ try:
+ import tiktoken
+ except:
+ report_execption(chatbot, history,
+ a=f"解析项目: {txt}",
+ b=f"导入软件依赖失败。使用该模块需要额外依赖，安装方法```pip install --upgrade tiktoken```。")
+ yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
+ return
+ history = [] # 清空历史，以免输入溢出
+ import glob, os
+ if os.path.exists(txt):
+ project_folder = txt
+ else:
+ if txt == "": txt = '空空如也的输入栏'
+ report_execption(chatbot, history, a = f"解析项目: {txt}", b = f"找不到本地项目或无权访问: {txt}")
+ yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
+ return
+ file_manifest = [f for f in glob.glob(f'{project_folder}/**/*.tex', recursive=True)]
+ if len(file_manifest) == 0:
+ report_execption(chatbot, history, a = f"解析项目: {txt}", b = f"找不到任何.tex文件: {txt}")
+ yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
+ return
+ yield from 多文件润色(file_manifest, project_folder, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, language='zh')
\ No newline at end of file
diff --git "a/crazy_functions/Latex\345\205\250\346\226\207\347\277\273\350\257\221.py" "b/crazy_functions/Latex\345\205\250\346\226\207\347\277\273\350\257\221.py"
new file mode 100644
index 0000000000000000000000000000000000000000..efada619a6fe121cba28a18f92b3c4a0de4c88bc
--- /dev/null
+++ "b/crazy_functions/Latex\345\205\250\346\226\207\347\277\273\350\257\221.py"
@@ -0,0 +1,175 @@
+from toolbox import update_ui
+from toolbox import CatchException, report_execption, write_results_to_file
+fast_debug = False
+
+class PaperFileGroup():
+ def __init__(self):
+ self.file_paths = []
+ self.file_contents = []
+ self.sp_file_contents = []
+ self.sp_file_index = []
+ self.sp_file_tag = []
+
+ # count_token
+ from request_llm.bridge_all import model_info
+ enc = model_info["gpt-3.5-turbo"]['tokenizer']
+ def get_token_num(txt): return len(enc.encode(txt, disallowed_special=()))
+ self.get_token_num = get_token_num
+
+ def run_file_split(self, max_token_limit=1900):
+ """
+ 将长文本分离开来
+ """
+ for index, file_content in enumerate(self.file_contents):
+ if self.get_token_num(file_content) < max_token_limit:
+ self.sp_file_contents.append(file_content)
+ self.sp_file_index.append(index)
+ self.sp_file_tag.append(self.file_paths[index])
+ else:
+ from .crazy_utils import breakdown_txt_to_satisfy_token_limit_for_pdf
+ segments = breakdown_txt_to_satisfy_token_limit_for_pdf(file_content, self.get_token_num, max_token_limit)
+ for j, segment in enumerate(segments):
+ self.sp_file_contents.append(segment)
+ self.sp_file_index.append(index)
+ self.sp_file_tag.append(self.file_paths[index] + f".part-{j}.tex")
+
+ print('Segmentation: done')
+
+def 多文件翻译(file_manifest, project_folder, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, language='en'):
+ import time, os, re
+ from .crazy_utils import request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency
+
+ # <-------- 读取Latex文件，删除其中的所有注释 ---------->
+ pfg = PaperFileGroup()
+
+ for index, fp in enumerate(file_manifest):
+ with open(fp, 'r', encoding='utf-8', errors='replace') as f:
+ file_content = f.read()
+ # 定义注释的正则表达式
+ comment_pattern = r'%.*'
+ # 使用正则表达式查找注释，并替换为空字符串
+ clean_tex_content = re.sub(comment_pattern, '', file_content)
+ # 记录删除注释后的文本
+ pfg.file_paths.append(fp)
+ pfg.file_contents.append(clean_tex_content)
+
+ # <-------- 拆分过长的latex文件 ---------->
+ pfg.run_file_split(max_token_limit=1024)
+ n_split = len(pfg.sp_file_contents)
+
+ # <-------- 抽取摘要 ---------->
+ # if language == 'en':
+ # abs_extract_inputs = f"Please write an abstract for this paper"
+
+ # # 单线，获取文章meta信息
+ # paper_meta_info = yield from request_gpt_model_in_new_thread_with_ui_alive(
+ # inputs=abs_extract_inputs,
+ # inputs_show_user=f"正在抽取摘要信息。",
+ # llm_kwargs=llm_kwargs,
+ # chatbot=chatbot, history=[],
+ # sys_prompt="Your job is to collect information from materials。",
+ # )
+
+ # <-------- 多线程润色开始 ---------->
+ if language == 'en->zh':
+ inputs_array = ["Below is a section from an English academic paper, translate it into Chinese, do not modify any latex command such as \section, \cite and equations:" +
+ f"\n\n{frag}" for frag in pfg.sp_file_contents]
+ inputs_show_user_array = [f"翻译 {f}" for f in pfg.sp_file_tag]
+ sys_prompt_array = ["You are a professional academic paper translator." for _ in range(n_split)]
+ elif language == 'zh->en':
+ inputs_array = [f"Below is a section from a Chinese academic paper, translate it into English, do not modify any latex command such as \section, \cite and equations:" +
+ f"\n\n{frag}" for frag in pfg.sp_file_contents]
+ inputs_show_user_array = [f"翻译 {f}" for f in pfg.sp_file_tag]
+ sys_prompt_array = ["You are a professional academic paper translator." for _ in range(n_split)]
+
+ gpt_response_collection = yield from request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency(
+ inputs_array=inputs_array,
+ inputs_show_user_array=inputs_show_user_array,
+ llm_kwargs=llm_kwargs,
+ chatbot=chatbot,
+ history_array=[[""] for _ in range(n_split)],
+ sys_prompt_array=sys_prompt_array,
+ # max_workers=5, # OpenAI所允许的最大并行过载
+ scroller_max_len = 80
+ )
+
+ # <-------- 整理结果，退出 ---------->
+ create_report_file_name = time.strftime("%Y-%m-%d-%H-%M-%S", time.localtime()) + f"-chatgpt.polish.md"
+ res = write_results_to_file(gpt_response_collection, file_name=create_report_file_name)
+ history = gpt_response_collection
+ chatbot.append((f"{fp}完成了吗？", res))
+ yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
+
+
+
+
+
+@CatchException
+def Latex英译中(txt, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, web_port):
+ # 基本信息：功能、贡献者
+ chatbot.append([
+ "函数插件功能？",
+ "对整个Latex项目进行翻译。函数插件贡献者: Binary-Husky"])
+ yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
+
+ # 尝试导入依赖，如果缺少依赖，则给出安装建议
+ try:
+ import tiktoken
+ except:
+ report_execption(chatbot, history,
+ a=f"解析项目: {txt}",
+ b=f"导入软件依赖失败。使用该模块需要额外依赖，安装方法```pip install --upgrade tiktoken```。")
+ yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
+ return
+ history = [] # 清空历史，以免输入溢出
+ import glob, os
+ if os.path.exists(txt):
+ project_folder = txt
+ else:
+ if txt == "": txt = '空空如也的输入栏'
+ report_execption(chatbot, history, a = f"解析项目: {txt}", b = f"找不到本地项目或无权访问: {txt}")
+ yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
+ return
+ file_manifest = [f for f in glob.glob(f'{project_folder}/**/*.tex', recursive=True)]
+ if len(file_manifest) == 0:
+ report_execption(chatbot, history, a = f"解析项目: {txt}", b = f"找不到任何.tex文件: {txt}")
+ yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
+ return
+ yield from 多文件翻译(file_manifest, project_folder, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, language='en->zh')
+
+
+
+
+
+@CatchException
+def Latex中译英(txt, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, web_port):
+ # 基本信息：功能、贡献者
+ chatbot.append([
+ "函数插件功能？",
+ "对整个Latex项目进行翻译。函数插件贡献者: Binary-Husky"])
+ yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
+
+ # 尝试导入依赖，如果缺少依赖，则给出安装建议
+ try:
+ import tiktoken
+ except:
+ report_execption(chatbot, history,
+ a=f"解析项目: {txt}",
+ b=f"导入软件依赖失败。使用该模块需要额外依赖，安装方法```pip install --upgrade tiktoken```。")
+ yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
+ return
+ history = [] # 清空历史，以免输入溢出
+ import glob, os
+ if os.path.exists(txt):
+ project_folder = txt
+ else:
+ if txt == "": txt = '空空如也的输入栏'
+ report_execption(chatbot, history, a = f"解析项目: {txt}", b = f"找不到本地项目或无权访问: {txt}")
+ yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
+ return
+ file_manifest = [f for f in glob.glob(f'{project_folder}/**/*.tex', recursive=True)]
+ if len(file_manifest) == 0:
+ report_execption(chatbot, history, a = f"解析项目: {txt}", b = f"找不到任何.tex文件: {txt}")
+ yield from update_ui(chatbot=chatbot, history=history) # 刷新界面
+ return
+ yield from 多文件翻译(file_manifest, project_folder, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, language='zh->en')
\ No newline at end of file
diff --git a/crazy_functions/__init__.py b/crazy_functions/__init__.py
new file mode 100644
index 0000000000000000000000000000000000000000..e69de29bb2d1d6434b8b29ae775ad8c2e48c5391
diff --git a/crazy_functions/crazy_functions_test.py b/crazy_functions/crazy_functions_test.py
new file mode 100644
index 0000000000000000000000000000000000000000..7b0f0725e194da0e2a5ea51b50fc48ae927dec7a
--- /dev/null
+++ b/crazy_functions/crazy_functions_test.py
@@ -0,0 +1,124 @@
+"""
+这是什么？
+ 这个文件用于函数插件的单元测试
+ 运行方法 python crazy_functions/crazy_functions_test.py
+"""
+
+def validate_path():
+ import os, sys
+ dir_name = os.path.dirname(__file__)
+ root_dir_assume = os.path.abspath(os.path.dirname(__file__) + '/..')
+ os.chdir(root_dir_assume)
+ sys.path.append(root_dir_assume)
+
+validate_path() # validate path so you can run from base directory
+from colorful import *
+from toolbox import get_conf, ChatBotWithCookies
+proxies, WEB_PORT, LLM_MODEL, CONCURRENT_COUNT, AUTHENTICATION, CHATBOT_HEIGHT, LAYOUT, API_KEY = \
+ get_conf('proxies', 'WEB_PORT', 'LLM_MODEL', 'CONCURRENT_COUNT', 'AUTHENTICATION', 'CHATBOT_HEIGHT', 'LAYOUT', 'API_KEY')
+
+llm_kwargs = {
+ 'api_key': API_KEY,
+ 'llm_model': LLM_MODEL,
+ 'top_p':1.0,
+ 'max_length': None,
+ 'temperature':1.0,
+}
+plugin_kwargs = { }
+chatbot = ChatBotWithCookies(llm_kwargs)
+history = []
+system_prompt = "Serve me as a writing and programming assistant."
+web_port = 1024
+
+
+def test_解析一个Python项目():
+ from crazy_functions.解析项目源代码 import 解析一个Python项目
+ txt = "crazy_functions/test_project/python/dqn"
+ for cookies, cb, hist, msg in 解析一个Python项目(txt, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, web_port):
+ print(cb)
+
+def test_解析一个Cpp项目():
+ from crazy_functions.解析项目源代码 import 解析一个C项目
+ txt = "crazy_functions/test_project/cpp/cppipc"
+ for cookies, cb, hist, msg in 解析一个C项目(txt, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, web_port):
+ print(cb)
+
+def test_Latex英文润色():
+ from crazy_functions.Latex全文润色 import Latex英文润色
+ txt = "crazy_functions/test_project/latex/attention"
+ for cookies, cb, hist, msg in Latex英文润色(txt, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, web_port):
+ print(cb)
+
+def test_Markdown中译英():
+ from crazy_functions.批量Markdown翻译 import Markdown中译英
+ txt = "README.md"
+ for cookies, cb, hist, msg in Markdown中译英(txt, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, web_port):
+ print(cb)
+
+def test_批量翻译PDF文档():
+ from crazy_functions.批量翻译PDF文档_多线程 import 批量翻译PDF文档
+ txt = "crazy_functions/test_project/pdf_and_word"
+ for cookies, cb, hist, msg in 批量翻译PDF文档(txt, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, web_port):
+ print(cb)
+
+def test_谷歌检索小助手():
+ from crazy_functions.谷歌检索小助手 import 谷歌检索小助手
+ txt = "https://scholar.google.com/scholar?hl=en&as_sdt=0%2C5&q=auto+reinforcement+learning&btnG="
+ for cookies, cb, hist, msg in 谷歌检索小助手(txt, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, web_port):
+ print(cb)
+
+def test_总结word文档():
+ from crazy_functions.总结word文档 import 总结word文档
+ txt = "crazy_functions/test_project/pdf_and_word"
+ for cookies, cb, hist, msg in 总结word文档(txt, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, web_port):
+ print(cb)
+
+def test_下载arxiv论文并翻译摘要():
+ from crazy_functions.下载arxiv论文翻译摘要 import 下载arxiv论文并翻译摘要
+ txt = "1812.10695"
+ for cookies, cb, hist, msg in 下载arxiv论文并翻译摘要(txt, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, web_port):
+ print(cb)
+
+def test_联网回答问题():
+ from crazy_functions.联网的ChatGPT import 连接网络回答问题
+ # txt = "“我们称之为高效”是什么梗？"
+ # >> 从第0份、第1份、第2份搜索结果可以看出，“我们称之为高效”是指在游戏社区中，用户们用来形容一些游戏策略或行为非常高效且能够带来好的效果的用语。这个用语最初可能是在群星（Stellaris）这个游戏里面流行起来的，后来也传播到了其他游戏中，比如巨像（Titan）等游戏。其中第1份搜索结果中的一篇文章也指出，“我们称之为高效”这 一用语来源于群星（Stellaris）游戏中的一个情节。
+ # txt = "为什么说枪毙P社玩家没有一个冤枉的？"
+ # >> 它们都是关于一个知乎用户所发的帖子，引用了一群游戏玩家对于需要对P社玩家进行枪毙的讨论，这个话题的本质是玩家们对于P 社游戏中的政治与历史元素的不同看法，以及其中不少玩家以极端立场宣扬的想法和言论，因此有人就以枪毙这些玩家来回应此类言论。但是这个话题本身并没有实质内容，只是一个玩笑或者恶搞，并不应该被当做真实的态度或者观点，因此这种说法没有实际意义。
+ # txt = "谁是应急食品？"
+ # >> '根据以上搜索结果可以得知，应急食品是“原神”游戏中的角色派蒙的外号。'
+ # txt = "道路千万条，安全第一条。后面两句是？"
+ # >> '行车不规范，亲人两行泪。'
+ # txt = "What is in the canister?"
+ # >> Rainbow Six Siege 游戏中 Smoke 的 Canister 中装有何种物质相关的官方信息。
+ # txt = "失败的man是什么?"
+ # >> 根据第1份搜索结果，可以得知失败的man是指一位在B站购买了蜘蛛侠COS服后穿上后被网友嘲笑的UP主，而“失败的man”是蜘蛛侠英文名“spiderman”的谐音梗，并且网友们还 给这位UP主起了“苍蝇侠”的外号。因此，失败的man是指这位UP主在穿上蜘蛛侠COS服后被网友嘲笑的情况。
+ # txt = "老六是什么，起源于哪里？"
+ # >> 老六是网络流行语，最初起源于游戏《CSGO》，指游戏中玩家中独来独往、游离于队伍之外的“自由人”或玩得比较菜或者玩得比较阴险的人 ，后来逐渐演变成指玩得比较阴险的玩家。
+ # txt = "罗小黑战记因为什么经常被吐槽？"
+ # >> 3. 更新速度。罗小黑战记的更新时间不定，时而快时而慢，给观众留下了等待的时间过长的印象。
+ # txt = "沙特、伊朗最近的关系如何？"
+ # >> 最近在中国的斡旋下，沙特和伊朗于3月10日达成了恢复两国外交关系的协议，这表明两国关系已经重新回到正常化状态。
+ # txt = "You should have gone for the head. What does that mean?"
+ # >> The phrase "You should have gone for the head" is a quote from the Marvel movies, Avengers: Infinity War and Avengers: Endgame. It was spoken by the character Thanos in Infinity War and by Thor in Endgame.
+ txt = "AutoGPT是什么？"
+ # >> AutoGPT是一个基于GPT-4语言模型的开源应用程序。它可以根据用户需求自主执行任务，包括事件分析、营销方案撰写、代码编程、数学运算等等，并完全不需要用户插手。它可以自己思考，给出实现的步骤和实现细节，甚至可以自问自答执 行任务。最近它在GitHub上爆火，成为了业内最热门的项目之一。
+ # txt = "钟离带什么圣遗物？"
+ for cookies, cb, hist, msg in 连接网络回答问题(txt, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, web_port):
+ print("当前问答：", cb[-1][-1].replace("\n"," "))
+ for i, it in enumerate(cb): print亮蓝(it[0]); print亮黄(it[1])
+
+# test_解析一个Python项目()
+# test_Latex英文润色()
+# test_Markdown中译英()
+# test_批量翻译PDF文档()
+# test_谷歌检索小助手()
+# test_总结word文档()
+# test_下载arxiv论文并翻译摘要()
+# test_解析一个Cpp项目()
+
+test_联网回答问题()
+
+
+input("程序完成，回车退出。")
+print("退出。")
\ No newline at end of file
diff --git a/crazy_functions/crazy_utils.py b/crazy_functions/crazy_utils.py
new file mode 100644
index 0000000000000000000000000000000000000000..4e0eba499e6f2fa94b1a962421b3c4bfef7a2f26
--- /dev/null
+++ b/crazy_functions/crazy_utils.py
@@ -0,0 +1,566 @@
+import traceback
+from toolbox import update_ui, get_conf
+
+def input_clipping(inputs, history, max_token_limit):
+ import numpy as np
+ from request_llm.bridge_all import model_info
+ enc = model_info["gpt-3.5-turbo"]['tokenizer']
+ def get_token_num(txt): return len(enc.encode(txt, disallowed_special=()))
+
+ mode = 'input-and-history'
+ # 当 输入部分的token占比 小于 全文的一半时，只裁剪历史
+ input_token_num = get_token_num(inputs)
+ if input_token_num < max_token_limit//2:
+ mode = 'only-history'
+ max_token_limit = max_token_limit - input_token_num
+
+ everything = [inputs] if mode == 'input-and-history' else ['']
+ everything.extend(history)
+ n_token = get_token_num('\n'.join(everything))
+ everything_token = [get_token_num(e) for e in everything]
+ delta = max(everything_token) // 16 # 截断时的颗粒度
+
+ while n_token > max_token_limit:
+ where = np.argmax(everything_token)
+ encoded = enc.encode(everything[where], disallowed_special=())
+ clipped_encoded = encoded[:len(encoded)-delta]
+ everything[where] = enc.decode(clipped_encoded)[:-1] # -1 to remove the may-be illegal char
+ everything_token[where] = get_token_num(everything[where])
+ n_token = get_token_num('\n'.join(everything))
+
+ if mode == 'input-and-history':
+ inputs = everything[0]
+ else:
+ pass
+ history = everything[1:]
+ return inputs, history
+
+def request_gpt_model_in_new_thread_with_ui_alive(
+ inputs, inputs_show_user, llm_kwargs,
+ chatbot, history, sys_prompt, refresh_interval=0.2,
+ handle_token_exceed=True,
+ retry_times_at_unknown_error=2,
+ ):
+ """
+ Request GPT model，请求GPT模型同时维持用户界面活跃。
+
+ 输入参数 Args （以_array结尾的输入变量都是列表，列表长度为子任务的数量，执行时，会把列表拆解，放到每个子线程中分别执行）:
+ inputs (string): List of inputs （输入）
+ inputs_show_user (string): List of inputs to show user（展现在报告中的输入，借助此参数，在汇总报告中隐藏啰嗦的真实输入，增强报告的可读性）
+ top_p (float): Top p value for sampling from model distribution （GPT参数，浮点数）
+ temperature (float): Temperature value for sampling from model distribution（GPT参数，浮点数）
+ chatbot: chatbot inputs and outputs （用户界面对话窗口句柄，用于数据流可视化）
+ history (list): List of chat history （历史，对话历史列表）
+ sys_prompt (string): List of system prompts （系统输入，列表，用于输入给GPT的前提提示，比如你是翻译官怎样怎样）
+ refresh_interval (float, optional): Refresh interval for UI (default: 0.2) （刷新时间间隔频率，建议低于1，不可高于3，仅仅服务于视觉效果）
+ handle_token_exceed：是否自动处理token溢出的情况，如果选择自动处理，则会在溢出时暴力截断，默认开启
+ retry_times_at_unknown_error：失败时的重试次数
+
+ 输出 Returns:
+ future: 输出，GPT返回的结果
+ """
+ import time
+ from concurrent.futures import ThreadPoolExecutor
+ from request_llm.bridge_all import predict_no_ui_long_connection
+ # 用户反馈
+ chatbot.append([inputs_show_user, ""])
+ yield from update_ui(chatbot=chatbot, history=[]) # 刷新界面
+ executor = ThreadPoolExecutor(max_workers=16)
+ mutable = ["", time.time(), ""]
+ def _req_gpt(inputs, history, sys_prompt):
+ retry_op = retry_times_at_unknown_error
+ exceeded_cnt = 0
+ while True:
+ # watchdog error
+ if len(mutable) >= 2 and (time.time()-mutable[1]) > 5:
+ raise RuntimeError("检测到程序终止。")
+ try:
+ # 【第一种情况】：顺利完成
+ result = predict_no_ui_long_connection(
+ inputs=inputs, llm_kwargs=llm_kwargs,
+ history=history, sys_prompt=sys_prompt, observe_window=mutable)
+ return result
+ except ConnectionAbortedError as token_exceeded_error:
+ # 【第二种情况】：Token溢出
+ if handle_token_exceed:
+ exceeded_cnt += 1
+ # 【选择处理】 尝试计算比例，尽可能多地保留文本
+ from toolbox import get_reduce_token_percent
+ p_ratio, n_exceed = get_reduce_token_percent(str(token_exceeded_error))
+ MAX_TOKEN = 4096
+ EXCEED_ALLO = 512 + 512 * exceeded_cnt
+ inputs, history = input_clipping(inputs, history, max_token_limit=MAX_TOKEN-EXCEED_ALLO)
+ mutable[0] += f'[Local Message] 警告，文本过长将进行截断，Token溢出数：{n_exceed}。\n\n'
+ continue # 返回重试
+ else:
+ # 【选择放弃】
+ tb_str = '```\n' + traceback.format_exc() + '```'
+ mutable[0] += f"[Local Message] 警告，在执行过程中遭遇问题, Traceback：\n\n{tb_str}\n\n"
+ return mutable[0] # 放弃
+ except:
+ # 【第三种情况】：其他错误：重试几次
+ tb_str = '```\n' + traceback.format_exc() + '```'
+ print(tb_str)
+ mutable[0] += f"[Local Message] 警告，在执行过程中遭遇问题, Traceback：\n\n{tb_str}\n\n"
+ if retry_op > 0:
+ retry_op -= 1
+ mutable[0] += f"[Local Message] 重试中，请稍等 {retry_times_at_unknown_error-retry_op}/{retry_times_at_unknown_error}：\n\n"
+ if ("Rate limit reached" in tb_str) or ("Too Many Requests" in tb_str):
+ time.sleep(30)
+ time.sleep(5)
+ continue # 返回重试
+ else:
+ time.sleep(5)
+ return mutable[0] # 放弃
+
+ # 提交任务
+ future = executor.submit(_req_gpt, inputs, history, sys_prompt)
+ while True:
+ # yield一次以刷新前端页面
+ time.sleep(refresh_interval)
+ # “喂狗”（看门狗）
+ mutable[1] = time.time()
+ if future.done():
+ break
+ chatbot[-1] = [chatbot[-1][0], mutable[0]]
+ yield from update_ui(chatbot=chatbot, history=[]) # 刷新界面
+
+ final_result = future.result()
+ chatbot[-1] = [chatbot[-1][0], final_result]
+ yield from update_ui(chatbot=chatbot, history=[]) # 如果最后成功了，则删除报错信息
+ return final_result
+
+
+def request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency(
+ inputs_array, inputs_show_user_array, llm_kwargs,
+ chatbot, history_array, sys_prompt_array,
+ refresh_interval=0.2, max_workers=-1, scroller_max_len=30,
+ handle_token_exceed=True, show_user_at_complete=False,
+ retry_times_at_unknown_error=2,
+ ):
+ """
+ Request GPT model using multiple threads with UI and high efficiency
+ 请求GPT模型的[多线程]版。
+ 具备以下功能：
+ 实时在UI上反馈远程数据流
+ 使用线程池，可调节线程池的大小避免openai的流量限制错误
+ 处理中途中止的情况
+ 网络等出问题时，会把traceback和已经接收的数据转入输出
+
+ 输入参数 Args （以_array结尾的输入变量都是列表，列表长度为子任务的数量，执行时，会把列表拆解，放到每个子线程中分别执行）:
+ inputs_array (list): List of inputs （每个子任务的输入）
+ inputs_show_user_array (list): List of inputs to show user（每个子任务展现在报告中的输入，借助此参数，在汇总报告中隐藏啰嗦的真实输入，增强报告的可读性）
+ llm_kwargs: llm_kwargs参数
+ chatbot: chatbot （用户界面对话窗口句柄，用于数据流可视化）
+ history_array (list): List of chat history （历史对话输入，双层列表，第一层列表是子任务分解，第二层列表是对话历史）
+ sys_prompt_array (list): List of system prompts （系统输入，列表，用于输入给GPT的前提提示，比如你是翻译官怎样怎样）
+ refresh_interval (float, optional): Refresh interval for UI (default: 0.2) （刷新时间间隔频率，建议低于1，不可高于3，仅仅服务于视觉效果）
+ max_workers (int, optional): Maximum number of threads (default: see config.py) （最大线程数，如果子任务非常多，需要用此选项防止高频地请求openai导致错误）
+ scroller_max_len (int, optional): Maximum length for scroller (default: 30)（数据流的显示最后收到的多少个字符，仅仅服务于视觉效果）
+ handle_token_exceed (bool, optional): （是否在输入过长时，自动缩减文本）
+ handle_token_exceed：是否自动处理token溢出的情况，如果选择自动处理，则会在溢出时暴力截断，默认开启
+ show_user_at_complete (bool, optional): (在结束时，把完整输入-输出结果显示在聊天框)
+ retry_times_at_unknown_error：子任务失败时的重试次数
+
+ 输出 Returns:
+ list: List of GPT model responses （每个子任务的输出汇总，如果某个子任务出错，response中会携带traceback报错信息，方便调试和定位问题。）
+ """
+ import time, random
+ from concurrent.futures import ThreadPoolExecutor
+ from request_llm.bridge_all import predict_no_ui_long_connection
+ assert len(inputs_array) == len(history_array)
+ assert len(inputs_array) == len(sys_prompt_array)
+ if max_workers == -1: # 读取配置文件
+ try: max_workers, = get_conf('DEFAULT_WORKER_NUM')
+ except: max_workers = 8
+ if max_workers <= 0 or max_workers >= 20: max_workers = 8
+ # 屏蔽掉 chatglm的多线程，可能会导致严重卡顿
+ if not (llm_kwargs['llm_model'].startswith('gpt-') or llm_kwargs['llm_model'].startswith('api2d-')):
+ max_workers = 1
+
+ executor = ThreadPoolExecutor(max_workers=max_workers)
+ n_frag = len(inputs_array)
+ # 用户反馈
+ chatbot.append(["请开始多线程操作。", ""])
+ yield from update_ui(chatbot=chatbot, history=[]) # 刷新界面
+ # 跨线程传递
+ mutable = [["", time.time(), "等待中"] for _ in range(n_frag)]
+
+ # 子线程任务
+ def _req_gpt(index, inputs, history, sys_prompt):
+ gpt_say = ""
+ retry_op = retry_times_at_unknown_error
+ exceeded_cnt = 0
+ mutable[index][2] = "执行中"
+ while True:
+ # watchdog error
+ if len(mutable[index]) >= 2 and (time.time()-mutable[index][1]) > 5:
+ raise RuntimeError("检测到程序终止。")
+ try:
+ # 【第一种情况】：顺利完成
+ # time.sleep(10); raise RuntimeError("测试")
+ gpt_say = predict_no_ui_long_connection(
+ inputs=inputs, llm_kwargs=llm_kwargs, history=history,
+ sys_prompt=sys_prompt, observe_window=mutable[index], console_slience=True
+ )
+ mutable[index][2] = "已成功"
+ return gpt_say
+ except ConnectionAbortedError as token_exceeded_error:
+ # 【第二种情况】：Token溢出，
+ if handle_token_exceed:
+ exceeded_cnt += 1
+ # 【选择处理】 尝试计算比例，尽可能多地保留文本
+ from toolbox import get_reduce_token_percent
+ p_ratio, n_exceed = get_reduce_token_percent(str(token_exceeded_error))
+ MAX_TOKEN = 4096
+ EXCEED_ALLO = 512 + 512 * exceeded_cnt
+ inputs, history = input_clipping(inputs, history, max_token_limit=MAX_TOKEN-EXCEED_ALLO)
+ gpt_say += f'[Local Message] 警告，文本过长将进行截断，Token溢出数：{n_exceed}。\n\n'
+ mutable[index][2] = f"截断重试"
+ continue # 返回重试
+ else:
+ # 【选择放弃】
+ tb_str = '```\n' + traceback.format_exc() + '```'
+ gpt_say += f"[Local Message] 警告，线程{index}在执行过程中遭遇问题, Traceback：\n\n{tb_str}\n\n"
+ if len(mutable[index][0]) > 0: gpt_say += "此线程失败前收到的回答：\n\n" + mutable[index][0]
+ mutable[index][2] = "输入过长已放弃"
+ return gpt_say # 放弃
+ except:
+ # 【第三种情况】：其他错误
+ tb_str = '```\n' + traceback.format_exc() + '```'
+ print(tb_str)
+ gpt_say += f"[Local Message] 警告，线程{index}在执行过程中遭遇问题, Traceback：\n\n{tb_str}\n\n"
+ if len(mutable[index][0]) > 0: gpt_say += "此线程失败前收到的回答：\n\n" + mutable[index][0]
+ if retry_op > 0:
+ retry_op -= 1
+ wait = random.randint(5, 20)
+ if ("Rate limit reached" in tb_str) or ("Too Many Requests" in tb_str):
+ wait = wait * 3
+ fail_info = "OpenAI绑定信用卡可解除频率限制 "
+ else:
+ fail_info = ""
+ # 也许等待十几秒后，情况会好转
+ for i in range(wait):
+ mutable[index][2] = f"{fail_info}等待重试 {wait-i}"; time.sleep(1)
+ # 开始重试
+ mutable[index][2] = f"重试中 {retry_times_at_unknown_error-retry_op}/{retry_times_at_unknown_error}"
+ continue # 返回重试
+ else:
+ mutable[index][2] = "已失败"
+ wait = 5
+ time.sleep(5)
+ return gpt_say # 放弃
+
+ # 异步任务开始
+ futures = [executor.submit(_req_gpt, index, inputs, history, sys_prompt) for index, inputs, history, sys_prompt in zip(
+ range(len(inputs_array)), inputs_array, history_array, sys_prompt_array)]
+ cnt = 0
+ while True:
+ # yield一次以刷新前端页面
+ time.sleep(refresh_interval)
+ cnt += 1
+ worker_done = [h.done() for h in futures]
+ if all(worker_done):
+ executor.shutdown()
+ break
+ # 更好的UI视觉效果
+ observe_win = []
+ # 每个线程都要“喂狗”（看门狗）
+ for thread_index, _ in enumerate(worker_done):
+ mutable[thread_index][1] = time.time()
+ # 在前端打印些好玩的东西
+ for thread_index, _ in enumerate(worker_done):
+ print_something_really_funny = "[ ...`"+mutable[thread_index][0][-scroller_max_len:].\
+ replace('\n', '').replace('```', '...').replace(
+ ' ', '.').replace('
+', '.....').replace('$', '.')+"`... ]" + observe_win.append(print_something_really_funny) + # 在前端打印些好玩的东西 + stat_str = ''.join([f'`{mutable[thread_index][2]}`: {obs}\n\n' + if not done else f'`{mutable[thread_index][2]}`\n\n' + for thread_index, done, obs in zip(range(len(worker_done)), worker_done, observe_win)]) + # 在前端打印些好玩的东西 + chatbot[-1] = [chatbot[-1][0], f'多线程操作已经开始，完成情况: \n\n{stat_str}' + ''.join(['.']*(cnt % 10+1))] + yield from update_ui(chatbot=chatbot, history=[]) # 刷新界面 + + # 异步任务结束 + gpt_response_collection = [] + for inputs_show_user, f in zip(inputs_show_user_array, futures): + gpt_res = f.result() + gpt_response_collection.extend([inputs_show_user, gpt_res]) + + # 是否在结束时，在界面上显示结果 + if show_user_at_complete: + for inputs_show_user, f in zip(inputs_show_user_array, futures): + gpt_res = f.result() + chatbot.append([inputs_show_user, gpt_res]) + yield from update_ui(chatbot=chatbot, history=[]) # 刷新界面 + time.sleep(0.3) + return gpt_response_collection + + +def breakdown_txt_to_satisfy_token_limit(txt, get_token_fn, limit): + def cut(txt_tocut, must_break_at_empty_line): # 递归 + if get_token_fn(txt_tocut) <= limit: + return [txt_tocut] + else: + lines = txt_tocut.split('\n') + estimated_line_cut = limit / get_token_fn(txt_tocut) * len(lines) + estimated_line_cut = int(estimated_line_cut) + for cnt in reversed(range(estimated_line_cut)): + if must_break_at_empty_line: + if lines[cnt] != "": + continue + print(cnt) + prev = "\n".join(lines[:cnt]) + post = "\n".join(lines[cnt:]) + if get_token_fn(prev) < limit: + break + if cnt == 0: + raise RuntimeError("存在一行极长的文本！") + # print(len(post)) + # 列表递归接龙 + result = [prev] + result.extend(cut(post, must_break_at_empty_line)) + return result + try: + return cut(txt, must_break_at_empty_line=True) + except RuntimeError: + return cut(txt, must_break_at_empty_line=False) + + +def force_breakdown(txt, limit, get_token_fn): + """ + 当无法用标点、空行分割时，我们用最暴力的方法切割 + """ + for i in reversed(range(len(txt))): + if get_token_fn(txt[:i]) < limit: + return txt[:i], txt[i:] + return "Tiktoken未知错误", "Tiktoken未知错误" + +def breakdown_txt_to_satisfy_token_limit_for_pdf(txt, get_token_fn, limit): + # 递归 + def cut(txt_tocut, must_break_at_empty_line, break_anyway=False): + if get_token_fn(txt_tocut) <= limit: + return [txt_tocut] + else: + lines = txt_tocut.split('\n') + estimated_line_cut = limit / get_token_fn(txt_tocut) * len(lines) + estimated_line_cut = int(estimated_line_cut) + cnt = 0 + for cnt in reversed(range(estimated_line_cut)): + if must_break_at_empty_line: + if lines[cnt] != "": + continue + prev = "\n".join(lines[:cnt]) + post = "\n".join(lines[cnt:]) + if get_token_fn(prev) < limit: + break + if cnt == 0: + if break_anyway: + prev, post = force_breakdown(txt_tocut, limit, get_token_fn) + else: + raise RuntimeError(f"存在一行极长的文本！{txt_tocut}") + # print(len(post)) + # 列表递归接龙 + result = [prev] + result.extend(cut(post, must_break_at_empty_line, break_anyway=break_anyway)) + return result + try: + # 第1次尝试，将双空行（\n\n）作为切分点 + return cut(txt, must_break_at_empty_line=True) + except RuntimeError: + try: + # 第2次尝试，将单空行（\n）作为切分点 + return cut(txt, must_break_at_empty_line=False) + except RuntimeError: + try: + # 第3次尝试，将英文句号（.）作为切分点 + res = cut(txt.replace('.', '。\n'), must_break_at_empty_line=False) # 这个中文的句号是故意的，作为一个标识而存在 + return [r.replace('。\n', '.') for r in res] + except RuntimeError as e: + try: + # 第4次尝试，将中文句号（。）作为切分点 + res = cut(txt.replace('。', '。。\n'), must_break_at_empty_line=False) + return [r.replace('。。\n', '。') for r in res] + except RuntimeError as e: + # 第5次尝试，没办法了，随便切一下敷衍吧 + return cut(txt, must_break_at_empty_line=False, break_anyway=True) + + + +def read_and_clean_pdf_text(fp): + """ + 这个函数用于分割pdf，用了很多trick，逻辑较乱，效果奇好 + + **输入参数说明** + - `fp`：需要读取和清理文本的pdf文件路径 + + **输出参数说明** + - `meta_txt`：清理后的文本内容字符串 + - `page_one_meta`：第一页清理后的文本内容列表 + + **函数功能** + 读取pdf文件并清理其中的文本内容，清理规则包括： + - 提取所有块元的文本信息，并合并为一个字符串 + - 去除短块（字符数小于100）并替换为回车符 + - 清理多余的空行 + - 合并小写字母开头的段落块并替换为空格 + - 清除重复的换行 + - 将每个换行符替换为两个换行符，使每个段落之间有两个换行符分隔 + """ + import fitz, copy + import re + import numpy as np + from colorful import print亮黄, print亮绿 + fc = 0 # Index 0 文本 + fs = 1 # Index 1 字体 + fb = 2 # Index 2 框框 + REMOVE_FOOT_NOTE = True # 是否丢弃掉 不是正文的内容 （比正文字体小，如参考文献、脚注、图注等） + REMOVE_FOOT_FFSIZE_PERCENT = 0.95 # 小于正文的？时，判定为不是正文（有些文章的正文部分字体大小不是100%统一的，有肉眼不可见的小变化） + def primary_ffsize(l): + """ + 提取文本块主字体 + """ + fsize_statiscs = {} + for wtf in l['spans']: + if wtf['size'] not in fsize_statiscs: fsize_statiscs[wtf['size']] = 0 + fsize_statiscs[wtf['size']] += len(wtf['text']) + return max(fsize_statiscs, key=fsize_statiscs.get) + + def ffsize_same(a,b): + """ + 提取字体大小是否近似相等 + """ + return abs((a-b)/max(a,b)) < 0.02 + + with fitz.open(fp) as doc: + meta_txt = [] + meta_font = [] + + meta_line = [] + meta_span = [] + ############################## <第 1 步，搜集初始信息> ################################## + for index, page in enumerate(doc): + # file_content += page.get_text() + text_areas = page.get_text("dict") # 获取页面上的文本信息 + for t in text_areas['blocks']: + if 'lines' in t: + pf = 998 + for l in t['lines']: + txt_line = "".join([wtf['text'] for wtf in l['spans']]) + if len(txt_line) == 0: continue + pf = primary_ffsize(l) + meta_line.append([txt_line, pf, l['bbox'], l]) + for wtf in l['spans']: # for l in t['lines']: + meta_span.append([wtf['text'], wtf['size'], len(wtf['text'])]) + # meta_line.append(["NEW_BLOCK", pf]) + # 块元提取 for each word segment with in line for each line cross-line words for each block + meta_txt.extend([" ".join(["".join([wtf['text'] for wtf in l['spans']]) for l in t['lines']]).replace( + '- ', '') for t in text_areas['blocks'] if 'lines' in t]) + meta_font.extend([np.mean([np.mean([wtf['size'] for wtf in l['spans']]) + for l in t['lines']]) for t in text_areas['blocks'] if 'lines' in t]) + if index == 0: + page_one_meta = [" ".join(["".join([wtf['text'] for wtf in l['spans']]) for l in t['lines']]).replace( + '- ', '') for t in text_areas['blocks'] if 'lines' in t] + + ############################## <第 2 步，获取正文主字体> ################################## + fsize_statiscs = {} + for span in meta_span: + if span[1] not in fsize_statiscs: fsize_statiscs[span[1]] = 0 + fsize_statiscs[span[1]] += span[2] + main_fsize = max(fsize_statiscs, key=fsize_statiscs.get) + if REMOVE_FOOT_NOTE: + give_up_fize_threshold = main_fsize * REMOVE_FOOT_FFSIZE_PERCENT + + ############################## <第 3 步，切分和重新整合> ################################## + mega_sec = [] + sec = [] + for index, line in enumerate(meta_line): + if index == 0: + sec.append(line[fc]) + continue + if REMOVE_FOOT_NOTE: + if meta_line[index][fs] <= give_up_fize_threshold: + continue + if ffsize_same(meta_line[index][fs], meta_line[index-1][fs]): + # 尝试识别段落 + if meta_line[index][fc].endswith('.') and\ + (meta_line[index-1][fc] != 'NEW_BLOCK') and \ + (meta_line[index][fb][2] - meta_line[index][fb][0]) < (meta_line[index-1][fb][2] - meta_line[index-1][fb][0]) * 0.7: + sec[-1] += line[fc] + sec[-1] += "\n\n" + else: + sec[-1] += " " + sec[-1] += line[fc] + else: + if (index+1 < len(meta_line)) and \ + meta_line[index][fs] > main_fsize: + # 单行 + 字体大 + mega_sec.append(copy.deepcopy(sec)) + sec = [] + sec.append("# " + line[fc]) + else: + # 尝试识别section + if meta_line[index-1][fs] > meta_line[index][fs]: + sec.append("\n" + line[fc]) + else: + sec.append(line[fc]) + mega_sec.append(copy.deepcopy(sec)) + + finals = [] + for ms in mega_sec: + final = " ".join(ms) + final = final.replace('- ', ' ') + finals.append(final) + meta_txt = finals + + ############################## <第 4 步，乱七八糟的后处理> ################################## + def 把字符太少的块清除为回车(meta_txt): + for index, block_txt in enumerate(meta_txt): + if len(block_txt) < 100: + meta_txt[index] = '\n' + return meta_txt + meta_txt = 把字符太少的块清除为回车(meta_txt) + + def 清理多余的空行(meta_txt): + for index in reversed(range(1, len(meta_txt))): + if meta_txt[index] == '\n' and meta_txt[index-1] == '\n': + meta_txt.pop(index) + return meta_txt + meta_txt = 清理多余的空行(meta_txt) + + def 合并小写开头的段落块(meta_txt): + def starts_with_lowercase_word(s): + pattern = r"^[a-z]+" + match = re.match(pattern, s) + if match: + return True + else: + return False + for _ in range(100): + for index, block_txt in enumerate(meta_txt): + if starts_with_lowercase_word(block_txt): + if meta_txt[index-1] != '\n': + meta_txt[index-1] += ' ' + else: + meta_txt[index-1] = '' + meta_txt[index-1] += meta_txt[index] + meta_txt[index] = '\n' + return meta_txt + meta_txt = 合并小写开头的段落块(meta_txt) + meta_txt = 清理多余的空行(meta_txt) + + meta_txt = '\n'.join(meta_txt) + # 清除重复的换行 + for _ in range(5): + meta_txt = meta_txt.replace('\n\n', '\n') + + # 换行 -> 双换行 + meta_txt = meta_txt.replace('\n', '\n\n') + + ############################## <第 5 步，展示分割效果> ################################## + # for f in finals: + # print亮黄(f) + # print亮绿('***************************') + + return meta_txt, page_one_meta diff --git a/crazy_functions/test_project/cpp/cppipc/buffer.cpp b/crazy_functions/test_project/cpp/cppipc/buffer.cpp new file mode 100644 index 0000000000000000000000000000000000000000..084b8153e9401f4e9dc5a6a67cfb5f48b0183ccb --- /dev/null +++ b/crazy_functions/test_project/cpp/cppipc/buffer.cpp @@ -0,0 +1,87 @@ +#include "libipc/buffer.h" +#include "libipc/utility/pimpl.h" + +#include
(params)...);
+ });
+ }
+
+ template (params)...);
+ });
+ }
+
+ template (params)...);
+ }
+
+ template (params)...);
+ }
+
+ bool pop(T& item) {
+ return base_t::pop(item, [](bool) {});
+ }
+
+ template