英雄 Fedora 质量保证: Fedora 21

和 Fedora 21 走出家门,走进野外,我终于有时间收集统计数据,了解谁为 Fedora 质量保证 努力。 对于每个里程碑版本(通常是每个季度),QA 喜欢向那些使事情成为可能的人大声疾呼。 Fedora 21 与过去的版本不同,并给出了整个 Fedora 社区创造和改进了很多新流程。 我们测试并发布了 3 种产品,而不是一个单一的发布产品——工作站、服务器和 Cloud. 其中每一项都需要一些额外的测试,而 QA 在以前的版本中不需要做这些测试。

这里的统计数据来自 菩提, 布吉拉Fedora 维基 使用“fedora-qa”统计脚本以及 相对. 我们当前的工具不允许我轻松地按单个产品分解这些统计数据,因此这些数字在所有三个中都是累积的。 我有整个统计数据 Fedora 21 个生命周期,所以我将把这篇文章分成 3 个部分。 第一部分将是发布验证工作的统计数据——将测试结果输入 Fedora 维基。 但在我们开始之前 – 这里有一些亮点!

强调

  • 在整个 Fedora 21 个周期,大约 30 名测试人员运行了 2,524 个测试用例
  • 我们收到了来自超过 175 位测试人员的 5,143 条菩提评论
  • 来自 500 多人的 3,470 份新的 F21 错误报告

这些是一些令人印象深刻的数字——出色的工作,感谢所有参与其中的人!

维基统计

这是提交发布验证测试结果的人员的略微精简列表。 有几种不同的测试用例矩阵经过测试,它们会在每个 Milestone 版本(Alpha、Beta 和 Final)中运行。 每个版本的测试有助于显示每个区域的测试程度。

Α

测试人员: 23

评论: 463

独特的参考错误: 29

姓名提交的报告引用的错误1
普瓦伦1241003122 1112387 1136990 892178 (4)
卫星821036306 1103496 1121409 1136570 1136581 1136985 1136994 1139015 1141414 (9)
米查尔夫48
罗希381134524 (1)
亚当威尔261099299 1101341 1134524 1140867 1142512 1142516 1142517 1142520 1142521 1142522 892178 (11)
pschindl241143972 (1)
克帕拉尔231142862 1144040 (2)
伊斯克拉丹22
无名点15
五桃859
spstarr7
格马尔6
马特DM6
斯加拉61143988 1143990 (2)
6
罗巴蒂诺5
杰杜拉尼4
传球3
耶雷兹尼克31003122 (1)
月内2
b10n1k2
康拉德1
jbwillia1

Alpha 提交了超过 450 个结果,这很棒。 请记住,这不包括我们在 Alpha 分支之前所做的所有生皮验证测试。 Pwhalen、Satellit 和 Michalv 提交了超过 250 个组合结果,打破了矩阵! 现在让我们继续 Beta 版(留意这里的趋势)。

贝塔

测试人员: 30

报告: 889

独特的参考错误: 38

姓名提交的报告引用的错误1
普瓦伦135892178 (1)
亚当威尔1331142520 1142521 1142522 1145777 1145783 1148087 1150147 1155026 1155301 1155304 1155329 1156198 1156354 1156380 1156614 892178 (16)
卫星1121036306 1103496 1136581 1141414 1145281 1148436 1149782 1158533 1169440 (9)
罗希1051148087 1156198 1156603 (3)
克帕拉尔881038413 1155964 1156008 1156073 1156354 1156380 (6)
pschindl801158533 1158975 (2)
德莫索尔311135024 (1)
斯加拉271156378 1156593 (2)
伊塞尔科维茨26
伊斯克拉丹25
杰德拉克20
无名点16
15
罗巴蒂诺15
库沙尔12
凯文10
马特DM6
耶雷兹尼克6 705086 (2)
奥塔克6
tflink4
维尔利希41156499 (1)
艾施曼3
斯帕克3
月内1
康拉德1
布罗宾逊1
布拉贝克11099299 (1)
cmurf1
灰锁1
输出1

再一次,你可以看到 Pwhalen 一直在做一些疯狂的工作。 Satellit 在被 Adamw 仅以 21 个结果淘汰后排名第三。 在 Alpha 和 Beta 之间,有几个新的测试人员加入了这项事业,报告的结果从 463 激增到 889! 感谢大家在 Beta 期间进行的出色测试!

最终的

测试人员: 29

报告: 1172

独特的参考错误: 17

姓名提交的报告引用的错误1
普瓦伦223705086 892178 (2)
罗希1481169085 (1)
卫星1411135720 1136581 1169440 (3)
克帕拉尔861169332 1170153 1170499 1170623 (4)
阿姆利塔吉79
71
好听的70892178 (1)
伊斯克拉丹611162215 (1)
德莫索尔541169085 892178 (2)
亚当威尔531142521 1142522 1170062 892178 (4)
pschindl491167959 (1)
麦肯220
罗巴蒂诺20
库沙尔17
斯加拉16(1)
疯狂的121169085 (1)
杰德拉克10
输出8
马特DM7
无名点7
耶雷兹尼克41170535 (1)
cmurf4
阿姆利塔3
tflink2
奥塔克2
杰杜拉尼2
sdharane1
布拉贝克1
伊斯托多拉1

Beta 版和最终版之间的总报告再次猛增。 虽然测试人员的数量保持不变,但随着我们越来越接近发布,测试数量稳步增加。 与 F20 的情况非常相似。 你发现这三张表的趋势了吗? Pwhalen 和 Satellit 在整个版本中占据主导地位。 Pwhalen 提交了 482 个测试结果,Satellit 提交了 335 个结果——约占报告的所有测试用例的 30%。

很棒的工作! 期待您为 F22 发布什么样的数字:p 下一部分将通过 Bodhi 进行更新测试。

脚注

1 – 这是链接到 wiki 结果的错误报告列表。 他们不必由那个具体的人报告。