Stem项目中的计算成本是什么?
个人理解,计算成本高不高取决于两个因素,一个是模型的复杂程度,另一个是数据量的大小。 在解决同一个问题的时候,如果使用不同的模型,其计算复杂度相差很多,例如一个简单的线性回归的问题,假如只有5个样本(x1,y1),(x2,y2).....(xn,yn) 那么最简单的线性回归的算法的计算量为O(n^2) 如果采用更复杂的神经网络,可能计算量就会下降,但是和简单的线性回归相比,计算量的下降幅度不会太明显,因为数据量太少的话,神经网络很难训练或者学习。即使使用了GPU进行并行计算也无法大幅降低计算时间。 反之,如果一个模型虽然看起来很复杂,但是如果其内部的结构并不复杂,比如每个节点都很简单,没有复杂的非线性激活函数的话,那么其计算量就不会很大。
另外,数据量越大,计算量也就越大。这是因为在计算的时候,需要遍历所有的数据,对于每一个数据点都要进行一次计算的。数据点的数量会直接影响计算的时间。 当然影响计算的量还有很多其他的原因,例如计算机的字长,软件编译的问题等都会影响最终的结果。
总之,在进行机器学习或者深度学习的时候,一定要考虑计算量过大的问题,不然你设计的模型再优化,再完美,最后因为计算量的问题而无法应用也是枉然。