第34章 数据融合异常（1/2）

几个在实验室的师兄都点开连结，打算观摩一下周昀的独门秘籍。

就连刚刚趴下的邱彦都重新坐直了身子。

几人了看了一会儿，都不由发出感嘆。

“我愿称之为——研究生新手入门宝典！”

“確实，我们那时候要有这东西，得少走多少弯路，不说別的，就这装环境，那时候就卡了我一两个月，

学怎么用github又是一两周，学会怎么找文献又是一两周，各种杂七杂八的东西学下来，半个学期就过去了，

而且这玩意儿又没有系统性的教程，都是自己一点点上网找的，不过你们这倒是好了，有周昀这东西，能省下不少时间。”

“对你们有帮助就行，如果別人有需要的话直接给就好了，只是別让人拿著我的东西去收费就好，看完觉得有帮助给我点个star唄。”

“点了，要我说，你这玩意儿迟早得火！”

“那借你吉言了。”

短暂的吵闹过后，实验室又恢復了平静。

周昀看著屏幕上的实验记录，第一次感觉有些棘手。

能够支撑模型运行的核心代码他上周就写完了，然后设置了几组实验，跑了六天，今天刚好出结果。

只是这结果，有些不尽如人意。

在选择股票相同的情况下，甚至还没有之前那个只能接受数值和文本数据的阉割版模型效果好。

这就是ai领域的问题之一，模型完全是黑盒的，你永远不知道你的数据在模型里是怎么变化传输的，可能某一行代码出了问题，就会导致各种奇奇怪怪的问题。

不过还好，周昀在写代码的时候加入了大量的调试代码，因为每跑一次实验需要的时间太长了，

甚至这次他並没有用到所有的数据，只用了其中的一部分，跑一组实验就得一周，这还是64张h100的显卡集群的情况下，

如果用上全部的数据的话，虽然时间上不会是简单的倍乘关係，但至少也得两周。

但这也就是第一次训练时候需要大量数据才要这么久，等第一次训练好了，后续的再有新的数据，就不需要从头训练，只需要利用新的数据微调就行。

本书首发 看书就来 101 看书网，??????????????????.??????超靠谱 ,提供给你无错章节，无乱序章节的阅读体验

现在他就在看输出日誌，观察到底是在哪一个环节出了问题，为了衡量模型的效果好坏，

他在数据预处理，数据融合，模型训练，结果输出这几个方面设计了几个指標。

经过观察，他大概確认了最为可能的一个原因。

数据融合异常。

因为模型接受的数据是多种模態的，所以在预处理之后还有一个数据融合阶段。

根据实验日誌来看，问题就出现在了这一阶段。

原本的数据融合算法在只有两种模態数据的时候，效果很好，但是当数据的模態数量逐渐上升，

一些原本没有发现的bug逐渐显现出来，这也是导致最终效果不如原来模型的最为重要的原因。

当然，也可能是因为过擬合，数据泄露，这种普遍性的问题，只不过仅根据这次的输出日誌来看，可能性不大。