和 Fedora 21 走出家门,走进野外,我终于有时间收集统计数据,了解谁为 Fedora 质量保证 努力。 对于每个里程碑版本(通常是每个季度),QA 喜欢向那些使事情成为可能的人大声疾呼。 Fedora 21 与过去的版本不同,并给出了整个 Fedora 社区创造和改进了很多新流程。 我们测试并发布了 3 种产品,而不是一个单一的发布产品——工作站、服务器和 Cloud. 其中每一项都需要一些额外的测试,而 QA 在以前的版本中不需要做这些测试。
这里的统计数据来自 菩提, 布吉拉 和 Fedora 维基 使用“fedora-qa”统计脚本以及 相对. 我们当前的工具不允许我轻松地按单个产品分解这些统计数据,因此这些数字在所有三个中都是累积的。 我有整个统计数据 Fedora 21 个生命周期,所以我将把这篇文章分成 3 个部分。 第一部分将是发布验证工作的统计数据——将测试结果输入 Fedora 维基。 但在我们开始之前 – 这里有一些亮点!
强调
- 在整个 Fedora 21 个周期,大约 30 名测试人员运行了 2,524 个测试用例
- 我们收到了来自超过 175 位测试人员的 5,143 条菩提评论
- 来自 500 多人的 3,470 份新的 F21 错误报告
这些是一些令人印象深刻的数字——出色的工作,感谢所有参与其中的人!
维基统计
这是提交发布验证测试结果的人员的略微精简列表。 有几种不同的测试用例矩阵经过测试,它们会在每个 Milestone 版本(Alpha、Beta 和 Final)中运行。 每个版本的测试有助于显示每个区域的测试程度。
Α
测试人员: 23
评论: 463
独特的参考错误: 29
姓名 | 提交的报告 | 引用的错误1 |
---|---|---|
普瓦伦 | 124 | 1003122 1112387 1136990 892178 (4) |
卫星 | 82 | 1036306 1103496 1121409 1136570 1136581 1136985 1136994 1139015 1141414 (9) |
米查尔夫 | 48 | |
罗希 | 38 | 1134524 (1) |
亚当威尔 | 26 | 1099299 1101341 1134524 1140867 1142512 1142516 1142517 1142520 1142521 1142522 892178 (11) |
pschindl | 24 | 1143972 (1) |
克帕拉尔 | 23 | 1142862 1144040 (2) |
伊斯克拉丹 | 22 | |
无名点 | 15 | |
五桃85 | 9 | |
spstarr | 7 | |
格马尔 | 6 | |
马特DM | 6 | |
斯加拉 | 6 | 1143988 1143990 (2) |
尼 | 6 | |
罗巴蒂诺 | 5 | |
杰杜拉尼 | 4 | |
传球 | 3 | |
耶雷兹尼克 | 3 | 1003122 (1) |
月内 | 2 | |
b10n1k | 2 | |
康拉德 | 1 | |
jbwillia | 1 |
Alpha 提交了超过 450 个结果,这很棒。 请记住,这不包括我们在 Alpha 分支之前所做的所有生皮验证测试。 Pwhalen、Satellit 和 Michalv 提交了超过 250 个组合结果,打破了矩阵! 现在让我们继续 Beta 版(留意这里的趋势)。
贝塔
测试人员: 30
报告: 889
独特的参考错误: 38
姓名 | 提交的报告 | 引用的错误1 |
---|---|---|
普瓦伦 | 135 | 892178 (1) |
亚当威尔 | 133 | 1142520 1142521 1142522 1145777 1145783 1148087 1150147 1155026 1155301 1155304 1155329 1156198 1156354 1156380 1156614 892178 (16) |
卫星 | 112 | 1036306 1103496 1136581 1141414 1145281 1148436 1149782 1158533 1169440 (9) |
罗希 | 105 | 1148087 1156198 1156603 (3) |
克帕拉尔 | 88 | 1038413 1155964 1156008 1156073 1156354 1156380 (6) |
pschindl | 80 | 1158533 1158975 (2) |
德莫索尔 | 31 | 1135024 (1) |
斯加拉 | 27 | 1156378 1156593 (2) |
伊塞尔科维茨 | 26 | |
伊斯克拉丹 | 25 | |
杰德拉克 | 20 | |
无名点 | 16 | |
尼 | 15 | |
罗巴蒂诺 | 15 | |
库沙尔 | 12 | |
凯文 | 10 | |
马特DM | 6 | |
耶雷兹尼克 | 6 | 705086 (2) |
奥塔克 | 6 | |
tflink | 4 | |
维尔利希 | 4 | 1156499 (1) |
艾施曼 | 3 | |
斯帕克 | 3 | |
月内 | 1 | |
康拉德 | 1 | |
布罗宾逊 | 1 | |
布拉贝克 | 1 | 1099299 (1) |
cmurf | 1 | |
灰锁 | 1 | |
输出 | 1 |
再一次,你可以看到 Pwhalen 一直在做一些疯狂的工作。 Satellit 在被 Adamw 仅以 21 个结果淘汰后排名第三。 在 Alpha 和 Beta 之间,有几个新的测试人员加入了这项事业,报告的结果从 463 激增到 889! 感谢大家在 Beta 期间进行的出色测试!
最终的
测试人员: 29
报告: 1172
独特的参考错误: 17
姓名 | 提交的报告 | 引用的错误1 |
---|---|---|
普瓦伦 | 223 | 705086 892178 (2) |
罗希 | 148 | 1169085 (1) |
卫星 | 141 | 1135720 1136581 1169440 (3) |
克帕拉尔 | 86 | 1169332 1170153 1170499 1170623 (4) |
阿姆利塔吉 | 79 | |
尼 | 71 | |
好听的 | 70 | 892178 (1) |
伊斯克拉丹 | 61 | 1162215 (1) |
德莫索尔 | 54 | 1169085 892178 (2) |
亚当威尔 | 53 | 1142521 1142522 1170062 892178 (4) |
pschindl | 49 | 1167959 (1) |
麦肯2 | 20 | |
罗巴蒂诺 | 20 | |
库沙尔 | 17 | |
斯加拉 | 16 | (1) |
疯狂的 | 12 | 1169085 (1) |
杰德拉克 | 10 | |
输出 | 8 | |
马特DM | 7 | |
无名点 | 7 | |
耶雷兹尼克 | 4 | 1170535 (1) |
cmurf | 4 | |
阿姆利塔 | 3 | |
tflink | 2 | |
奥塔克 | 2 | |
杰杜拉尼 | 2 | |
sdharane | 1 | |
布拉贝克 | 1 | |
伊斯托多拉 | 1 |
Beta 版和最终版之间的总报告再次猛增。 虽然测试人员的数量保持不变,但随着我们越来越接近发布,测试数量稳步增加。 与 F20 的情况非常相似。 你发现这三张表的趋势了吗? Pwhalen 和 Satellit 在整个版本中占据主导地位。 Pwhalen 提交了 482 个测试结果,Satellit 提交了 335 个结果——约占报告的所有测试用例的 30%。
很棒的工作! 期待您为 F22 发布什么样的数字:p 下一部分将通过 Bodhi 进行更新测试。
脚注
1 – 这是链接到 wiki 结果的错误报告列表。 他们不必由那个具体的人报告。