1 Star 0 Fork 0

ab-code/PIXIU

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README
MIT


1The Fin AI  2Wuhan University  3The University of Manchester  4University of Florida  5Columbia University  6The Chinese University of Hong Kong, Shenzhen  7Sichuan University  8Yunnan University  9Stevens Institute of Technology  10Stony Brook University  11Nanjin Audit University  12Jiangxi Normal University  13Southwest Jiaotong University

Wuhan University LogoManchester University LogoUniversity of Florida LogoColumbia University LogoHK University (shenzhen) LogoSichuan UniversityYunnan UniversityStevens Insititute of TechnologyStony Brook UniversityNanjing Audit UniversityJiangxi Normal UniversitySouthwest Jiaotong University Logo

Discord

Pixiu Paper | FinBen Leaderboard

免责声明

本资料库及其内容仅用于学术和教育目的。所有资料均不构成金融、法律或投资建议。不对内容的准确性、完整性或实用性提供任何明示或暗示的保证。作者和撰稿人不对任何错误、遗漏或因使用本网站信息而产生的任何后果负责。用户在做出任何财务、法律或投资决定之前,应自行判断并咨询专业人士。使用本资料库所含软件和信息的风险完全由用户自行承担。

使用或访问本资源库中的信息,即表示您同意对作者、撰稿人以及任何附属组织或个人的任何及所有索赔或损害进行赔偿、为其辩护并使其免受损害。

检查点:

语言

评估 (更多详情,请参阅FinBen部分):

概述

FinBen_ZH 是一项专注于中文金融领域的基石计划,旨在促进专为中文金融环境定制的大型语言模型(LLMs)的进展、完善和评估。FinBen_ZH 是 PIXIU 更大范围工作的一个重要部分,证明了我们在利用 LLMs 能力方面的承诺,确保中文世界的金融专业人士和爱好者拥有顶级的语言工具。

主要特征

  • 公开资源: PIXIU 公开提供财务 LLM、教学调整数据和评估基准中的数据集,以鼓励公开研究和透明度。
  • 多任务: PIXIU 中的指令调整数据和基准涵盖了一系列不同的金融任务。
  • 多模态: PIXIU 的指令调整数据和基准由多模态金融数据组成,包括股票走势预测任务的时间序列数据。它涵盖各种类型的金融文本,包括报告、新闻报道、推特和监管文件。
  • 多样性: 与以往主要侧重于金融 NLP 任务的基准不同,PIXIU 的评估基准包括与真实世界场景相一致的关键金融预测任务,因此更具挑战性。

FinBen_ZH: 金融语言理解和预测评估基准

在本节中,我们将提供 FinMA 与其他领先模型(包括 ChatGPT、GPT-4、ince-zero 等)相比的详细性能分析。为了进行分析,我们选择了一系列任务和指标,涵盖了金融自然语言处理和金融预测的各个方面。

任务

数据 任务类型 原始数据 数据类型 模式 许可证 论文
AFQMC 语义匹配 38,650 提问数据, 对话 文本 Apache-2.0 [1]
corpus 语义匹配 120,000 提问数据, 对话 文本 Public [2]
stockA 股票分类 14,769 新闻, 历史价格 文本, 时间序列 Public [3]
Fineval 多项选择 1,115 金融考试 文本 Apache-2.0 [4]
NL 新闻分类 7,955 新闻报道 文本 Public [5]
NL2 新闻分类 7,955 新闻报道 文本 Public [5]
NSP 负面新闻判断 4,499 新闻、社交媒体文本 文本 Public [5]
RE 关系识别 14,973 新闻、实体对 文本 Public [5]
FE 情感分析 18,177 金融社交媒体文本 文本 Public [5]
stockB 情感分析 9,812 金融社交媒体文本 文本 Apache-2.0 [6]
QA 金融问答 22,375 财经新闻公告 文本, 表格 Public [5]
NA 文本摘要 32,400 新闻文章、公告 文本 Public [5]
19CCKS 事件主体提取 156,834 新闻报道 文本 CC BY-SA 4.0 [7]
20CCKS 事件主体提取 372,810 新闻报道 文本 CC BY-SA 4.0 [8]
21CCKS 事件因果关系抽取 8,000 新闻报道 文本 CC BY-SA 4.0 [9]
22CCKS 事件主体提取 109,555 新闻报道 文本 CC BY-SA 4.0 [10]
NER 命名实体识别 1,685 新闻报道 文本 Public [11]
FPB 情感分析 4,845 新闻 文本 MIT license [12]
FIQASA 情感分析 1,173 新闻头条、推文 文本 MIT license [12]
Headlines 新闻标题分类 11,412 新闻头条 文本 MIT license [12]
BigData 股票走势预测 7,164 推文、历史价格 文本, 时间序列 MIT license [12]
ACL 股票走势预测 27,053 推文、历史价格 文本, 时间序列 MIT license [12]
CIKM 股票走势预测 4,967 推文、历史价格 文本, 时间序列 MIT license [12]
FinQA 金融问答 14,900 收益报告 文本, 表格 MIT license [12]
ConvFinQA 多轮问答 48,364 收益报告 文本, 表格 MIT license [12]
  1. Xu L, Hu H, Zhang X, et al. CLUE: A Chinese language understanding evaluation benchmark[J]. arXiv preprint arXiv:2004.05986, 2020.
  2. Jing Chen, Qingcai Chen, Xin Liu, Haijun Yang, Daohe Lu, and Buzhou Tang. 2018. The BQ Corpus: A Large-scale Domain-specific Chinese Corpus For Sentence Semantic Equivalence Identification. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 4946–4951, Brussels, Belgium. Association for Computational Linguistics.
  3. Jinan Zou, Haiyao Cao, Lingqiao Liu, Yuhao Lin, Ehsan Abbasnejad, and Javen Qinfeng Shi. 2022. Astock: A New Dataset and Automated Stock Trading based on Stock-specific News Analyzing Model. In Proceedings of the Fourth Workshop on Financial Technology and Natural Language Processing (FinNLP), pages 178–186, Abu Dhabi, United Arab Emirates (Hybrid). Association for Computational Linguistics.
  4. Zhang L, Cai W, Liu Z, et al. FinEval: A Chinese Financial Domain Knowledge Evaluation Benchmark for Large Language Models[J]. arxiv preprint arxiv:2308.09975, 2023.
  5. Lu D, Liang J, Xu Y, et al. BBT-Fin: Comprehensive Construction of Chinese Financial Domain Pre-trained Language Model, Corpus and Benchmark[J]. arxiv preprint arxiv:2302.09432, 2023.
  6. https://huggingface.co/datasets/kuroneko5943/stock11
  7. https://www.biendata.xyz/competition/ccks_2019_4/
  8. https://www.biendata.xyz/competition/ccks_2020_4_1/
  9. https://www.biendata.xyz/competition/ccks_2021_task6_2/
  10. https://www.biendata.xyz/competition/ccks2022_eventext/
  11. Jia C, Shi Y, Yang Q, et al. Entity enhanced BERT pre-training for Chinese NER[C]//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). 2020: 6384-6396.
  12. Xie Q, Han W, Zhang X, et al. PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance[J]. arXiv preprint arXiv:2306.05443, 2023.

评估

准备工作

本地安装
git clone https://github.com/chancefocus/PIXIU.git --recursive
cd PIXIU
pip install -r requirements.txt
cd PIXIU/src/financial-evaluation
pip install -e .[multilingual]
Docker 镜像
sudo bash scripts/docker_run.sh

以上命令会启动一个 docker 容器,你可以根据自己的环境修改 docker_run.sh。我们通过运行 sudo docker pull tothemoon/pixiu:latest 来提供预编译镜像。

docker run --gpus all --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 \
    --network host \
    --env https_proxy=$https_proxy \
    --env http_proxy=$http_proxy \
    --env all_proxy=$all_proxy \
    --env HF_HOME=$hf_home \
    -it [--rm] \
    --name pixiu \
    -v $pixiu_path:$pixiu_path \
    -v $hf_home:$hf_home \
    -v $ssh_pub_key:/root/.ssh/authorized_keys \
    -w $workdir \
    $docker_user/pixiu:$tag \
    [--sshd_port 2201 --cmd "echo 'Hello, world!' && /bin/bash"]

参数说明:

  • [] 表示可忽略的参数
  • HF_HOME: huggingface 缓存目录
  • sshd_port: 容器的 sshd 端口,可以运行 ssh -i private_key -p $sshd_port root@$ip 来连接容器,默认为 22001
  • --rm: 退出容器时移除容器(即 CTRL + D

自动化任务评估

在评估前, 请下载 punto de control BARTsrc/metrics/BARTScore/bart_score.pth.

如需进行自动评估,请按照以下说明操作:

  1. Transformador Huggingface

    要评估 HuggingFace Hub 上托管的模型(例如,finma-7b-full),请使用此命令:

python eval.py \
    --model "hf-causal-llama" \
    --model_args "use_accelerate=True,pretrained=chancefocus/finma-7b-full,tokenizer=chancefocus/finma-7b-full,use_fast=False" \
    --tasks "flare_ner,flare_sm_acl,flare_fpb"

更多详情,请参阅 lm_eval 文档。

  1. 商用接口

请注意,对于 NER 等任务,自动评估是基于特定模式进行的。这可能无法提取零镜头设置中的相关信息,导致性能相对低于之前的人工标注结果。

export OPENAI_API_SECRET_KEY=YOUR_KEY_HERE
python eval.py \
    --model gpt-4 \
    --tasks flare_ner,flare_sm_acl,flare_fpb

引用

如果您在项目中使用了PIXIU,请引用我们的文章。

@misc{xie2023pixiu,
      title={PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance}, 
      author={Qianqian Xie and Weiguang Han and Xiao Zhang and Yanzhao Lai and Min Peng and Alejandro Lopez-Lira and Jimin Huang},
      year={2023},
      eprint={2306.05443},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@misc{xie2024FinBen,
      title={The FinBen: An Holistic Financial Benchmark for Large Language Models}, 
      author={Qianqian Xie and Weiguang Han and Zhengyu Chen and Ruoyu Xiang and Xiao Zhang and Yueru He and Mengxi Xiao and Dong Li and Yongfu Dai and Duanyu Feng and Yijing Xu and Haoqiang Kang and Ziyan Kuang and Chenhan Yuan and Kailai Yang and Zheheng Luo and Tianlin Zhang and Zhiwei Liu and Guojun Xiong and Zhiyang Deng and Yuechen Jiang and Zhiyuan Yao and Haohang Li and Yangyang Yu and Gang Hu and Jiajia Huang and Xiao-Yang Liu and Alejandro Lopez-Lira and Benyou Wang and Yanzhao Lai and Hao Wang and Min Peng and Sophia Ananiadou and Jimin Huang},
      year={2024},
      eprint={2402.12659},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

许可证

PIXIU 采用 [MIT] 许可。有关详细信息,请参阅 MIT 文件。

星标历史

Star History Chart

MIT License Copyright (c) 2023 乾阜资产 Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions: The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software. THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

简介

暂无描述 展开 收起
Python 等 3 种语言
MIT
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Python
1
https://gitee.com/ab-code/PIXIU.git
git@gitee.com:ab-code/PIXIU.git
ab-code
PIXIU
PIXIU
main

搜索帮助

Cb406eda 1850385 E526c682 1850385