用这么简陋的设备来演示深度学习模型?一位来自大公司的工程师低声说道,这不太可能有什么好结果。
林星石没有在意这些议论。他平静地连接好设备,打开了演示程序。
各位评审,我将现场演示我们的模型在随机样本上的推理能力。林星石说道。
他随机选择了评审提供的测试图片,一张张地输入到模型中。每张图片的识别过程都在大屏幕上实时显示。
第一张图片是一只站在树枝上的鸟。模型在0.3秒内给出了北美红雀的判断,准确率98.7%。
第二张图片是一辆在雨中的汽车。模型识别为,准确率99.2%,同时标注出了雨滴对识别的影响程度。
第三张图片是一个杂乱的室内场景。模型不仅识别出了、等主要物体,还准确标注出了它们的位置关系。
演示过程中,会场内的气氛逐渐发生了变化。最初的质疑声消失了,取而代之的是惊讶的低语。
这个延迟太不可思议了。一位技术评审小声对同事说道,在这么小的设备上能达到这样的推理速度。
另一位评审补充:准确率也很高。而且你看它的置信度计算,非常稳定。
演示结束后,会场内响起了掌声。但质疑的声音并没有完全消失。
林先生,你的演示很精彩。一位来自竞争对手的工程师站起来说道,但深度学习模型是黑盒,我们无法理解它的决策过程。这样的模型真的可靠吗?
林星石早有准备:我们可以提供完整的训练日志和配置签名。所有超参数设置、数据预处理方法都是公开的。
他当场调出了训练过程的完整记录:这是我们的误差曲线,从第一个epoch到最后一个epoch的变化都有记录。这是我们的验证集结果,所有的测试数据都可以复现。
这章没有结束,请点击下一页继续阅读!
质疑者并不满意:但这些还是不能证明模型的可解释性。我们需要更直接的验证方法。
那么我提议进行现场复刻。林星石平静地回应,请各位评审随机指定一个配置,我们现场训练一个小型模型,验证训练过程和结果的可靠性。
这个提议得到了评审委员会的同意。他们随机选择了一个简化版的网络结构和训练配置。
林星石在现场开始了训练过程。三个小时后,复刻的模型完成了训练。测试结果显示,这个简化模型在验证集上的表现与原模型的趋势完全一致。
这...这确实证明了你们方法的可靠性。之前提出质疑的工程师终于承认道,训练过程是可复现的,结果也是可验证的。