可直训ChatGPT类模型!华师大、NUS开源HugNLP框架:一键刷榜,全面统一NLP训练

2023-05-24 15:13:58 来源: 站长之家

声明:本文来自于微信公众号 新智元(ID:AI_era),作者:王嘉宁,授权站长之家转载发布。

近日,华师大HugAILab团队研发了HugNLP框架,这是一个面向研究者和开发者的全面统一的NLP训练框架,可支持包括文本分类、文本匹配、问答、信息抽取、文本生成、小样本学习等多种NLP任务模型搭建和训练。


(资料图)

开源地址:https://github.com/HugAILab/HugNLP

论文:https://arxiv.org/abs/2302.14286

值得注意的是,HugNLP还集成了大量最新的Prompt技术,例如Prompt-Tuning、In-Context Learning、Instruction-tuning,未来还将引入Chain-of-thought

HugAILab团队还研发了一系列的应用,例如CLUE&GLUE刷榜工具,可支持ChatGPT类模型训练和部署产品HugChat,以及统一信息抽取产品HugIE等。

HugNLP是一个分层式框架,遵循“高内聚低耦合”的开发模式,其核心包括模型层(Models)、处理器层(Processors)、评估器层(Evaluators)和应用层(Applications)四部分。

框架图如下所示:

模型层:包含模型部分,主要按照任务类型进行划分;

处理器层:对数据进行加载、缓存、分词等处理,并转换为模型输入的Tensor;

评估器层:根据不同类型的任务(分类或生成),指定不同的评估流程和评价指标;

应用层:对应的应用执行脚本。理论上来说,选定一个模型、一个数据处理器以及一个评估器,即可对应一个应用。

HugNLP完全基于HuggingFace开发,具有易扩展、易部署能力,同时集成了MLFlow训练追踪器,方便使用者及时追踪实验进度,并进行实验分析。

HugNLP框架之所以称为全面,是因为其集成了大量的NLP任务模型,目前已经实现的包括:

预训练:Masked LM、Causal LM、知识增强预训练;

Instruction-Tuning:支持自回归生成式、区间抽取式、NLI等统一范式训练;

文本分类/匹配:传统Fine-tuning、Prompt-tuning、In-Context Learning;

序列标注:支持NER等序列标注任务;

元学习:基于序列的元学习(SentenceProto)、基于区间的元学习(SpanProto)、基于token的元学习(TokenProto,NNShot);

问答:支持抽取式问答、多项选择式问答、开放生成式问答;

文本生成:支持文本摘要、机器翻译(正在开发中);

代码智能:目前集成了代码克隆检测(Clone)、代码缺陷检测(Defact)等Code任务;

快速部署HugNLP框架,只需要执行代码三行命令即可:

gitclonehttps://github.com/HugAILab/HugNLP.gitcdHugNLPpython3setup.pyinstall

下面介绍HugNLP的几个核心能力:

Benchmark一键刷榜;

预训练和知识注入;

Fine-tuning & Prompt-tuning;

Instruction-tuning;

In-Context Learning;

半监督Self-training;

Code代码智能;

一、Benchmark一键刷榜

HugNLP最先开发了面向一些常用榜单的刷榜工具,例如GLUE、CLUE等。用户只需要配置相应的数据集名称,即可实现一键刷榜。

为了验证框架的有效性,在22年9月提交了CLUE榜单的刷榜结果,选择一系列中文小模型(RoBERTa、MacBERT、P-BERT等)并结合了logits集成方法,至今依然维持在第15名位置,曾一度超越了部分企业。

例如如果训练CLUE榜单的AFQMC数据集,可编辑文件

applications/benchmark/clue/clue_finetune_dev.sh

修改参数:

--user_defined="data_name=afqmc"

执行下列命令即可:

bashapplications/benchmark/clue/clue_finetune_dev.sh

同样的方法还可以训练一些常用的NLP任务,例如阅读理解、实体识别、以及GLUE英文数据集等。

HugNLP还集成了一系列模型用于刷榜,例如BERT、RoBERTa、DeBERTa、MacBERT、Erlangshen等。

二、预训练与知识注入

传统的一些预训练模型(例如BERT、GPT2等)是在通用语料上训练的,而对领域事实知识可能不敏感,因此需要显式的在预训练阶段注入事实知识。

在HugNLP中,主要实现了几个知识增强预训练,包括DKPLM和KP-PLM。DKPLM是一种可分解的知识注入方法;KP-PLM则是将结构化知识转化为自然语言描述的形式进行注入。这些知识注入的方法是可插拔式的,因此无需修改模型结构,很容易用于下游任务的微调。

执行下面命令即可进行Masked Language Modeling和Causal Language Modeling的预训练:

bashapplications/pretraining/run_pretrain_mlm.shbashapplications/pretraining/run_pretrain_casual_lm.sh

三、 Fine-tuning & Prompt-Tuning

基于预训练语言模型的NLP,通常遵循Pre-training和Fine-tuning范式。HugNLP也包含Fine-tuning技术。

3.1参数有效性学习

HugNLP集成了包括Prefix-tuning、Adapter、BitFit、LoRA等参数有效性训练方法,可以加速模型的训练,降低显存占用量。

在训练脚本中,只需要添加一行参数,即可开启参数有效性训练:

--use_freezing

对于参数有效性方法,HugNLP实现了若干类别的分类模型,如下所示:

CLASSIFICATION_MODEL_CLASSES={"head_prefix_cls":{"bert":BertPrefixForSequenceClassification,"roberta":RobertaPrefixForSequenceClassification,},"head_ptuning_cls":{"bert":BertPtuningForSequenceClassification,"roberta":RobertaPtuningForSequenceClassification,},"head_adapter_cls":{"bert":BertAdapterForSequenceClassification,"roberta":RobertaAdapterForSequenceClassification,},"masked_prompt_cls":{"bert":PromptBertForSequenceClassification,"roberta":PromptRobertaForSequenceClassification,},"masked_prompt_prefix_cls":{"bert":PromptBertPrefixForSequenceClassification,"roberta":PromptRobertaPrefixForSequenceClassification,},"masked_prompt_ptuning_cls":{"bert":PromptBertPtuningForSequenceClassification,"roberta":PromptRobertaPtuningForSequenceClassification,},"masked_prompt_adapter_cls":{"bert":PromptBertAdapterForSequenceClassification,"roberta":PromptRobertaAdapterForSequenceClassification,},}

只需要指定下面参数即可,例如选择adapter进行分类:

--task_type=head_adapter_cls

3.2对抗训练:引入对Embedding的扰动,提高模型的鲁棒性

HugNLP框架集成了若干种对抗训练的方法,其中最简单的对抗方法为FGM算法:

首先计算输入样本(通常为word embedding)的损失函数以及在处的梯度:;

计算在输入样本的扰动量:,其中为超参数,默认取1.0;

得到对抗样本:;

根据得到的对抗样本,再次喂入模型中,计算损失,并累积梯度;

恢复原始的word embedding,接着下一个batch。

在训练时,只需要添加一行参数,即可默认调用FGM算法:

--do_adv

3.3Prompt-tuning:通过模板来复用预训练目标

传统的Fine-tuning在低资源场景下容易出现过拟合问题,因此复用预训练的目标可以拉近Pre-training和Fine-tuning之间的语义差异。

HugNLP集成了PET、P-tuning、Prefix-tuning等Prompt-Tuning算法,并无缝嵌入在NLP分类任务的模型里。

在训练时,只需要指定下面两个参数,即可以开启Prompt-tuning模式,例如选择p-tuning算法:

--task_type=masked_prompt_ptuning_cls--use_prompt_for_cls

四、Instruction-tuning

在大模型时代,如何将不同类型的NLP任务进行范式统一,是构造通用人工智能的核心要素。HugNLP为此定义了三种统一范式的思想:

万物皆可生成:将所有NLP任务建模为单向自回归生成,例如GPT-3、ChatGPT等;

万物皆可抽取:将所有NLP任务建模为抽取式机器阅读理解;

万物皆可推断:将所有NLP任务建模为自然语言推断;

基于三种不同的范式统一,HugNLP推出两个核心产品,分别是:

HugChat:基于生成式Instruction的中小型ChatGPT类模型;

HugIE:基于抽取式Instruction的统一信息抽取框架;

4.1HugChat:基于Causal Language Modeling的生成式对话模型

最近ChatGPT火爆全球,为了让研究者可以训练自己的ChatGPT,HugNLP框架集成了基于生成式Instruction的训练产品——HugChat,其支持各种类型的单向生成式模型的训练,例如GPT-2、GPT-Neo、OPT、GLM、LLaMA等。

在8张V10032G的条件下,可训练OPT-13B大模型。HugAILab团队开源了约200万条英文、300万条中文对话数据,用于训练模型。例如训练GPT-2(XL),可直接执行脚本:

bash./application/instruction_prompting/HugChat/supervised_finetuning/run_causal_instruction_gpt2_xl.sh

基于HugNLP,训练的GPT-2(1.3B)模型,即可实现很简单的对话任务。只需要执行如下命令即可玩转HugChat:

python3applications/instruction_prompting/HugChat/hugchat.py

例如可以写套磁信邮件:

再例如搜索谷歌地球的相关信息:

也可以实现编写简单的代码(1.3B的模型具备此能力已经很惊叹了!):

HugNLP目前正在开发其他类型的Decoder-only大模型,相关信息和开源内容如下表所示:

HugChat后期将推出垂直领域的大模型解决方案,同时将与OpenAI API进行融合,推出大模型服务框架。

4.2HugIE:基于Global Pointer的统一信息抽取框架

信息抽取(Information Extraction)旨在从非结构化的文本中抽取出结构化信息,是构建知识库的重要步骤之一。通常信息抽取包括两个核心步骤,分别是命名实体识别(Named Entity Recognition)和关系抽取(Relation Extraction)。

我们基于HugNLP研发一款HugIE产品,旨在实现统一信息处理。其主要核心包括如下几个部分:

将实体识别和关系抽取,统一为新的范式——基于抽取式阅读理解的方法。HugIE采用Global Pointer模型实现信息抽取;

定义Instruction Prompt,指导模型生成需要抽取的内容;

采用多任务训练的方法训练;

HugIE目前已经开源了模型:https://huggingface.co/wjn1996/wjn1996-hugnlp-hugie-large-zh 可以基于HugNLP框架使用HugIE抽取模型,如下图所示:

五、In-Context Learning

In-Context Learning(ICL)首次由GPT-3提出,其旨在挑选少量的标注样本作为提示(Prompt),从而在形式上促使大模型生成目标答案。ICL的优势在于无需对参数进行更新,即可实现惊艳的效果。

HugNLP框架集成了ICL,主要涉及到样本的挑选和预测结果的校准两个部分:

样本挑选:默认为从训练集中随机挑选样本,后期将会开发一系列样本挑选的算法,例如聚类、K近邻、余弦相似度等;

预测校准:由于所挑选标注样本与待预测样本存在分布差异,需要对预测的概率分布进行校准,这里采用Calibrate Before Use方法,如下图,可以对预测分布进行校准,提高预测效果。

目前ICL已经集成在HugNLP里,只需要指定下面参数即可:

--user_defined="data_name=xxxnum_incontext_example=4l=1use_calibrate=True"--use_prompt_for_cls

六、半监督Self-training

半监督旨在同时结合标注数据和无标签数据来训练NLP任务。Self-training是一种简单但有效的迭代式训练方法,其通过Teacher模型先获取伪标签,对伪标签进行去噪后,再训练Student模型。传统的Self-training会引入大量噪声,从而降低训练的效果。

为了提高性能,HugNLP引入成熟的Uncertainty-aware Self-training技术。框架图如下所示:

其采用了来自贝叶斯推断中的MC Dropout技术,即对Teacher模型执行次推理,每次推理开启Dropout开关,从而得到若干与Teacher模型满足独立同分布的模型预测。

基于这些预测结果,可以通过信息熵的变化量得到Teacher模型对无标签数据的不确定性量化指标(即BALD算法),核心公式如下:

进行多次DC Dropout的代码实现如下(详见hugnlp_trainer.py):

y_T=list()foriintqdm(range(T)):y_pred=[]forstep,inputsinenumerate(unlabeled_dataloader):_,logits,__=self.prediction_step(model,inputs,prediction_loss_only,ignore_keys=ignore_keys)y_pred.extend(logits.detach().cpu().numpy().tolist())predict_proba=torch.softmax(torch.Tensor(y_pred).to(logits.device),-1)y_T.append(predict_proba.detach().cpu().numpy().tolist())y_T=np.array(y_T)#computemeany_mean=np.mean(y_T,axis=0)BALD算法实现如下:defget_BALD_acquisition(y_T):expected_entropy=-np.mean(np.sum(y_T*np.log(y_T+1e-10),axis=-1),axis=0)expected_p=np.mean(y_T,axis=0)entropy_expected_p=-np.sum(expected_p*np.log(expected_p+1e-10),axis=-1)return(entropy_expected_p-expected_entropy)

HugNLP使用半监督模式,只需要做两件事:

(1)执行脚本时添加参数:

--use_semi

(2)在指定的数据集目录下,存放unlabeled data文件。

七、其他更丰富的应用

目前HugNLP还开发了很多应用如下所示:还有更多丰富的应用正在开发中。HugNLP也欢迎有志之士加入HugAILab参与开源开发工作。

(举报)

标签:

无锡10个项目入选 江苏艺术基金2023年度资助项目立项名单公布

14日,江苏艺术基金2023年度资助项目立项名单结束公示,无锡共有民族舞

06-15 09:32:55

沃野万顷绘五彩画卷!全面推进乡村振兴,济南风景正好-每日热讯

06-15 09:00:27

财政部、工业和信息化部:打造一批数字化转型“小灯塔”企业

财政部、工业和信息化部近日联合印发《关于开展中小企业数字化转型城市

06-15 08:22:19

“两高一部”就依法惩治网暴征求意见 针对未成年人、组织“水军”实施网暴从重处罚 全球快消息

《征求意见稿》指出,人民法院、人民检察院、公安机关要充分认识网络暴

06-15 07:46:08

快看点丨芝加哥小麦期货周三跌超0.9%,原糖期货涨2.5%

周三(6月14日)纽约尾盘,彭博谷物分类指数跌0 36%,报44 5915点,美股

06-15 06:42:18

惊喜连连!下月利州东路将变身“紫薇大道”

眼下,广元市城区利州东路景观改造工程示范路段已接近尾声,颜值颇高的

06-15 05:34:03

天天时讯:请收藏!武汉武昌区安装220台AED,点位在这些地方

当发现身边有人突然倒地,出现意识丧失等突发情况时,作为普通人的你我

06-15 03:20:49

ESPN发问:库里杜兰特詹姆斯VS东契奇字母哥约基奇 你选谁赢? 世界微头条

ESPN发问:库里杜兰特詹姆斯VS东契奇字母哥约基奇你选谁赢?,espn,哥约

06-15 01:11:57

速讯:鲁迅经典大全集_关于鲁迅经典大全集简述

小伙伴们,你们好,今天小夏来聊聊一篇关于鲁迅经典大全集,关于鲁迅经

06-14 22:38:49

最新资讯:隐藏身份证号码中间几位公式函数_隐藏身份证号码中间几位公式

1、利用函数公式=SUBSTITUTE(A1,MID(A1,7,8), "******** ")。本文到此

06-14 21:39:25

环球观焦点:视频 | 国家发展改革委:持续优化营商环境 完善“1+N+X”法规政策体系

6月14日,国新办举行政策例行吹风会,介绍深化营商环境重点领域改革有

06-14 20:54:32

横空出世观后感200字20篇 横空出世观后感|世界快资讯

今天来聊聊空出世观后感200字20篇,横空出世观后感的文章,现在就为大

06-14 20:01:26

【维•新闻】奥地利银行服务费也将上涨! 全球微动态

由于通货膨胀上升,银行现在也在提高往来账户、ATM卡和其他服务的各种

06-14 19:32:06

老百姓:控股股东医药集团所持有部分股份被质押

2023年6月14日,老百姓(603883 SH)发布关于控股股东股份质押的公告。公

06-14 19:00:29

世界要闻:深圳多区学位爆仓、有学校要提前12年买房!家长直呼:入学太难了!

“我家小孩可能要被分流到其他学校了。”最近,朋友告诉我们,他们三年

06-14 18:16:52

青海省药品监管局召开医疗器械抽检工作推进会-精选

青海新闻网·大美青海客户端(记者李娜报道)近日,青海省药品监督管理

06-14 17:58:20

全球快讯:大宗交易:会稽山成交1578万元,折价1.50%(06-14)

2023年6月14日,会稽山发生1笔大宗交易,总成交120万股,成交金额1578

06-14 17:15:33

千万工程 一线探访|浙江省绍兴市越城区安桥头村:文旅融合促发展 每日热门

千万工程一线探访|浙江省绍兴市越城区安桥头村:文旅融合促发展---“

06-14 16:43:28

环球快报:口袋妖怪白金伊布进化什么好(口袋妖怪白金伊布)

1、获得全国图鉴后,与屋主羡慕先生对话,他会提及一只稀有的怪兽,之

06-14 16:14:02

全球时讯:贝壳找房是什么中介_贝壳找房是什么

“贝壳找房”是一款手机app,平台包含二手房、新房、租赁、家装等内容

06-14 15:57:29

三川智慧收关注函 被追问收购集盛科技8%股权估值的合理性和定价公允性 是否向关联方利益输送

三川智慧6月14日收深交所关注函,6月6日,公司披露公告称拟以6240万元

06-14 15:01:39

今日热讯:港股内房股持续走低 合景泰富集团跌超6%

截至发稿,合景泰富集团跌6 67%,报0 98港元。

06-14 14:43:13

全球最新:“低碳减肥法”风靡全网 碳水化合物真是变胖主因吗

从生酮饮食,到“断碳”“碳循环”,再到最近爆火的“某明星减肥法”…

06-14 14:01:24

天天速讯:莆田市国资委:莆田市国资国企2023年1-5月项目投资完成情况

莆田市国资委:莆田市国资国企2023年1-5月项目投资完成情况,国投集团,

06-14 13:02:48

天津市河东区一小区发生爆炸 造成3人死亡多人受伤|焦点资讯

中新网6月14日电据天津市公安局河东分局官方微信消息,天津市公安局河

06-14 12:29:40

第二届全国技能大赛福建省选拔赛开赛

为全国技能大赛推荐优秀选手,由省人社厅主办的第二届全国技能大赛(国

06-14 12:04:21

天天精选!汽车normal模式是什么(汽车normal在什么时候用?)

相信大家对汽车normal模式是什么,汽车normal在什么时候用?的问题都很

06-14 11:25:19

世界快资讯:易维哲:黄金继续维持在震荡中,原油关注EIA数据。

黄金上个交易日走出小幅的冲高回落日线报收一根带上影线的寸头阴线,隔

06-14 10:45:33

环球报道:邓州市工商联:组织企业参加“高校毕业生民营企业招聘周”双选会活动

为进一步助力民营经济高质量发展上办实事办好事,帮助民营企业吸纳更多

06-14 10:22:58

环球热议:大家都是皇帝陵墓,为何明皇陵墓完好无损,而清朝皇陵无一幸免

大家都是皇帝陵墓,为何明皇陵墓完好无损,而清朝皇陵无一幸免,哈喽,

06-14 10:12:01

世界最资讯丨5月份天津市CPI环比下降0.4%

5月份天津市CPI环比下降0 4%

06-14 09:38:22

家门口的“公益夜市”精彩开市!文明积分“兑”出居民幸福感

近日,南桥镇阳光社区“益路向阳,我与阳光有约”公益夜市精彩开市。现

06-14 08:58:17

世界最资讯丨把就业服务送到劳动者身边(民生观)

建在社区里的站点,让劳动者感受到实实在在的便利和越来越多的温暖  

06-14 08:33:53

【播资讯】柴祯祯:护眼产品怎样“叫得响”

柴祯祯:护眼产品怎样“叫得响”---近年来,电子产品快速普及、使用频

06-14 08:05:53

江苏盱眙:火红龙虾节 万人龙虾宴

江苏盱眙:火红龙虾节万人龙虾宴

06-14 07:04:00

蚂蚁的蚁组词_蚂蚁的蚁组词有哪些

欢迎观看本篇文章,小升来为大家解答以上问题。蚂蚁的蚁组词,蚂蚁的蚁

06-14 05:56:03

焦点速看:女的来月经能洗澡吗_来月经能洗澡吗

1、来月经时,阴道因经血洗涤而酸度下降,宫颈微开,机体免疫力下降。2

06-14 04:56:34

全球头条:老子一气化三清哪三清(老子一气化三清)

老子一气化三清哪三清,老子一气化三清这个很多人还不知道,现在让我们

06-14 03:02:16

速讯:长沙理工大学获批第二批国家级一流本科课程13门

新湖南客户端6月13日讯(通讯员刘文川)近日,教育部发布了《教育部关

06-14 01:05:16

感人!德约科维奇儿子坐在台下仰头望向爸爸,满满都是崇拜和自豪|焦点讯息

北京时间6月13日,在国内最大的网球论坛,有网友晒出塞尔维亚名将德约

06-13 22:31:58

天天快播:psp游戏迅雷链接(psp游戏迅雷下载)

来为大家解答以上问题。psp游戏迅雷链接,psp游戏迅雷下载这个很多人还

06-13 22:09:16

丰台区委书记王少峰:以“五气”连枝助推丰台倍增发展

6月13日下午,北京市政府新闻办召开“北京市贯彻落实党的二十大精神”

06-13 21:28:01

天天滚动:如何做五彩饭团_五彩饭团的做法

1、材料:米饭2碗、酱油1汤匙、糖1 2汤匙、鱼松3汤匙、火腿肠30g、黄瓜

06-13 20:52:20

决定的近义词是什么词_决定的近义词

1、1,首先要分清你说的“决定”是名词,还是动词;所以他的近义词有:

06-13 19:43:05

母猫嚎春一般几天结束

来为大家解答以上问题。母猫嚎春一般几天结束这个很多人还不清楚,现在

06-13 19:17:11

国内第四大运营商 中国广电终于支持携号转网:但只入不出

国内第四大运营商中国广电终于支持携号转网:但只入不出

06-13 18:40:47

天天视讯!已删的朋友圈如何恢复正常_已删的朋友圈如何恢复

你们好,最近小活发现有诸多的小伙伴们对于已删的朋友圈如何恢复正常,

06-13 18:12:39

环球微速讯:苏州双一流大学有几所 具体名单有哪些(1所)

苏州双一流大学只有有1所,即苏州大学。苏州双一流大学名单及建设学科

06-13 17:45:00

​你可以不识人,但千万要懂人性,10条人性潜规则,看懂现实_今日热文

在人际交往中,了解人性潜规则是非常重要的一点。只有了解这些规则

06-13 17:02:18

容声和海尔冰箱拆机对比_容声和海尔冰箱哪个好

1、这俩个品牌都同样是生产冰箱历史悠久的企业,也都是质量很过关的,容

06-13 16:36:59

沃野万顷绘五彩画卷!全面推进乡村振兴,济南风景正好-每日热讯
财政部、工业和信息化部:打造一批数字化转型“小灯塔”企业
“两高一部”就依法惩治网暴征求意见 针对未成年人、组织“水军”实施网暴从重处罚 全球快消息
快看点丨芝加哥小麦期货周三跌超0.9%,原糖期货涨2.5%
惊喜连连!下月利州东路将变身“紫薇大道”
天天时讯:请收藏!武汉武昌区安装220台AED,点位在这些地方
ESPN发问:库里杜兰特詹姆斯VS东契奇字母哥约基奇 你选谁赢? 世界微头条
速讯:鲁迅经典大全集_关于鲁迅经典大全集简述
最新资讯:隐藏身份证号码中间几位公式函数_隐藏身份证号码中间几位公式
环球观焦点:视频 | 国家发展改革委:持续优化营商环境 完善“1+N+X”法规政策体系
横空出世观后感200字20篇 横空出世观后感|世界快资讯
【维•新闻】奥地利银行服务费也将上涨! 全球微动态
老百姓:控股股东医药集团所持有部分股份被质押
世界要闻:深圳多区学位爆仓、有学校要提前12年买房!家长直呼:入学太难了!
青海省药品监管局召开医疗器械抽检工作推进会-精选
全球快讯:大宗交易:会稽山成交1578万元,折价1.50%(06-14)
千万工程 一线探访|浙江省绍兴市越城区安桥头村:文旅融合促发展 每日热门
环球快报:口袋妖怪白金伊布进化什么好(口袋妖怪白金伊布)
全球时讯:贝壳找房是什么中介_贝壳找房是什么
三川智慧收关注函 被追问收购集盛科技8%股权估值的合理性和定价公允性 是否向关联方利益输送
今日热讯:港股内房股持续走低 合景泰富集团跌超6%
全球最新:“低碳减肥法”风靡全网 碳水化合物真是变胖主因吗
天天速讯:莆田市国资委:莆田市国资国企2023年1-5月项目投资完成情况
天津市河东区一小区发生爆炸 造成3人死亡多人受伤|焦点资讯
第二届全国技能大赛福建省选拔赛开赛
天天精选!汽车normal模式是什么(汽车normal在什么时候用?)
世界快资讯:易维哲:黄金继续维持在震荡中,原油关注EIA数据。
环球报道:邓州市工商联:组织企业参加“高校毕业生民营企业招聘周”双选会活动
环球热议:大家都是皇帝陵墓,为何明皇陵墓完好无损,而清朝皇陵无一幸免
世界最资讯丨5月份天津市CPI环比下降0.4%
家门口的“公益夜市”精彩开市!文明积分“兑”出居民幸福感
世界最资讯丨把就业服务送到劳动者身边(民生观)
【播资讯】柴祯祯:护眼产品怎样“叫得响”
江苏盱眙:火红龙虾节 万人龙虾宴
蚂蚁的蚁组词_蚂蚁的蚁组词有哪些
焦点速看:女的来月经能洗澡吗_来月经能洗澡吗
全球头条:老子一气化三清哪三清(老子一气化三清)
速讯:长沙理工大学获批第二批国家级一流本科课程13门
感人!德约科维奇儿子坐在台下仰头望向爸爸,满满都是崇拜和自豪|焦点讯息
天天快播:psp游戏迅雷链接(psp游戏迅雷下载)
丰台区委书记王少峰:以“五气”连枝助推丰台倍增发展
天天滚动:如何做五彩饭团_五彩饭团的做法
决定的近义词是什么词_决定的近义词
母猫嚎春一般几天结束
国内第四大运营商 中国广电终于支持携号转网:但只入不出
天天视讯!已删的朋友圈如何恢复正常_已删的朋友圈如何恢复
环球微速讯:苏州双一流大学有几所 具体名单有哪些(1所)
​你可以不识人,但千万要懂人性,10条人性潜规则,看懂现实_今日热文
容声和海尔冰箱拆机对比_容声和海尔冰箱哪个好
【全球速看料】车多久做一次动平衡(多长时间做一次动平衡)
X 广告
行业动态
X 广告

Copyright ©  2015-2022 南极植物网版权所有  备案号:粤ICP备2022077823号-13   联系邮箱: 317 493 128@qq.com