lformat使用教程 (LFORMAT)

文/ 阿里 淘系 F(x)Team - 旭伦

通过机器学习可以自动修复bug? 对许多学生来说,这可能是一个奇妙的话题。 不管靠不靠谱,我们大家都能学会。

这个问题很难说,也很简单。我们把有bug修复后的代码片断和代码片断制成数据集,使用类似的机器翻译技术进行训练。然后我们用训练好的模型来预测如何修复新代码。 这个想法和数据集都来自论文《An Empirical Study on Learning Bug-Fixing Patches in the Wild via Neural Machine Translation》

代码自动修复的主题非常简单,一段是bug另一段是修复后的代码。

我们看图片的主要过程:


为了更好地适应代码,作者抽象了代码:


让我们来看一个数据集中的例子:

有bug代码如下:

public java.lang.String METHOD_1 ( ){ return new TYPE_1 ( STRING_1 ) . format ( VAR_1[ ( ( VAR_1 . length ) - 1 ) ]. getTime ( ) ) ; }

修复后是这样的:

public java.lang.String METHOD_1 ( ){ return new TYPE_1 ( STRING_1 ) . format ( VAR_1[ ( ( type ) - 1 ) ]. getTime ( ) ) ; }教你手把手用CodeBERT自动修复bug

人工智能服务于软件工程AI4SE方面,微软一直处于领先地位。让我们手拉手学习如何使用微软。CodeBERT自动修复模型bug.

第一步:安装transformers框架,因为CodeBERT 基于此框架:

pip install transformers --user

第二步:安装PyTorch或者Tensorflow作为Transformers如果驱动能够完成后端,简单地安装最新的:

pip install torch torchvision torchtext torchaudio --user

第三步,下载微软数据集

git clone https://github.com/microsoft/CodeXGLUE

已下载数据集CodeXGLUE/Code-Code/code-refinement/data/ 中了,分为small和medium两个数据集。

我们先拿small数据集练习:

cd codeexport pretrained_model=microsoft/codebert-baseexport output_dir=./outputpython run.py \\--do_train \\--do_eval \\--model_type roberta \\--model_name_or_path $pretrained_model \\--config_name roberta-base \\--tokenizer_name roberta-base \\--train_filename ../data/small/train.buggy-fixed.buggy,../data/small/train.buggy-fixed.fixed \\--dev_filename ../data/small/valid.buggy-fixed.buggy,../data/small/valid.buggy-fixed.fixed \\--output_dir $output_dir \\--max_source_length 256 \\--max_target_length 256 \\--beam_size 5 \\--train_batch_size 16 \\--eval_batch_size 16 \\--learning_rate 5e-5 \\--train_steps 100000 \\--eval_steps 5000

这取决于你机器的计算能力,我用一台NVIDIA 3090GPU训练大约需要一个晚上。存储在效果最好的模型中的最佳模型output_dir/checkpoint-best-bleu/pytorch_model.bin中。

然后我们可以用测试集来测试我们的训练结果:

python run.py \\ --do_test \\--model_type roberta \\--model_name_or_path roberta-base \\--config_name roberta-base \\--tokenizer_name roberta-base \\--load_model_path $output_dir/checkpoint-best-bleu/pytorch_model.bin \\--dev_filename ../data/small/valid.buggy-fixed.buggy,../data/small/valid.buggy-fixed.fixed \\--test_filename ../data/small/test.buggy-fixed.buggy,../data/small/test.buggy-fixed.fixed \\--output_dir $output_dir \\--max_source_length 256 \\--max_target_length 256 \\--beam_size 5 \\--eval_batch_size 16

在我的机器上,经过半小时的推理计算,输出如下:

10/26/2021 11:51:57 - INFO - __main__ - Test file: ../data/small/test.buggy-fixed.buggy,../data/small/test.buggy-fixed.fixed100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 365/365[30:40<00:00, 5.04s/it]10/26/2021 12:22:39 - INFO - __main__ - bleu-4 = 79.26 10/26/2021 12:22:39 - INFO - __main__ - xMatch = 16.3325 10/26/2021 12:22:39 - INFO - __main__ - ********************

我们生成的代码质量如何评价?我们可以比较我们生成的output/test_1.output和output/test_1.gold进行比较,可使用以下内容evaluator.py脚本:

python evaluator/evaluator.py -ref ./code/output/test_1.gold -pre ./code/output/test_1.output

输出结果如下:

BLEU: 79.26 ; Acc: 16.33

前者是描述NLP生成质量的BLEU指标,后者是准确性。

这个指标水平如何?我们可以比较基线:

Method

BLEU

Acc (100%)

CodeBLEU

Naive copy

78.06

0.0

-

LSTM

76.76

10.0

-

Transformer

77.21

14.7

73.31

CodeBERT

77.42

16.4

75.58

虽然精度看起来不高,但是CodeBERT比原论文用的更多RNN技术提高了60%。

我们通过diff直观感受生成与原始的区别:


随着数据的增加,我们可以自动帮助我们修复,而不需要脑细胞bug,这简直就是睡后收入。

自动发现bug

若感觉自动解决bug这件事离实用还很远,我们可以先发现bug。

自动发现bug

若感觉自动解决bug这件事离实用还很远,我们可以先发现bug。 不要低估自动发现bug这个相对较弱的命题大大提高了它的适用性和准确性。

是否有bug数据集特别简单,只要用一个字段来标记是否有bug就可以了。以下是数据集格式jsonl格式存储:

{"project": "qemu", "commit_id": "aa1530dec499f7525d2ccaa0e3a876dc8089ed1e", "target": 1, "func": "static void filter_mirror_setup(NetFilterState *nf, Error **errp)\ {\ MirrorState *s = FILTER_MIRROR(nf);\ Chardev *chr;\ chr = qemu_chr_find(s->outdev);\ if (chr == NULL){\ error_set(errp, ERROR_CLASS_DEVICE_NOT_FOUND,\ \\"Device '%s' not found\\", s->outdev);\ qemu_chr_fe_init(&s->chr_out, chr, errp);", "idx": 8}{"project": "qemu", "commit_id": "21ce148c7ec71ee32834061355a5ecfd1a11f90f", "target": 1, "func": "static i