reprieve:用于评估制图表达的库 源码

暂停:用于评估制图表达的库 每个人都想学习良好的数据表示形式。但是,准确定义一个好的表示形式意味着什么,这很棘手。在最近的一篇论文中,,我们表明可以将许多表示任务质量的概念表示为损失数据曲线的函数。 此回购包含一个库称为reprieve用于计算丢失的数据曲线和可从中获得的表示质量的度量(对于再版esentation EV aluation)。这些指标是: 验证损失 相互信息(大约;仅一个界限) 最小描述长度,来自 多余的描述长度() ε-样本复杂度() 我们鼓励从事表示学习的任何人携带他们的表示和数据集,并使用该库进行评估和基准测试。不要满足于使用线性探针或几次微调进行评估! 如果您遇到任何问题,请提出问题!我很乐意帮助您解决问题,并学习如何使Reprieve变得更好。此外,如果您在野外工作,发现我们没有对他人有用的标准算法或表示形式,请发送拉取请求! 特征 该库被设计为与框架无关,并且