美媒:研究人员开发新软件令大数据分析速度快百倍
2017-11-03 08:04 来源: 参考消息网
关注新华网
微博
Qzone
评论
图集

  计算机学研究人员此前已为机器学习和大数据分析中最常用的一些张量运算编写了内核。但可能用到的内核数量是无限的:例如,用于三个张量相加的内核与用于四个张量相加的内核是不同的。

  许多张量运算需将某个张量中的一项与另一个张量中的一项相乘。如果其中一项是0,那么结果也会是0,而计算大型稀疏矩阵的程序会浪费大量时间来对0进行相加和相乘。

  针对稀疏张量的人工优化代码能识别0项并精简涉及0项的运算。这能大大提高张量运算的速度,但需要程序员完成大量工作。

  例如,针对两个矩阵相乘(矩阵是形式较简单的张量,像图表一样只有两个维度),如果是完全矩阵的话(即其中没有一个项能被省略),可能需要12行代码。但如果是稀疏矩阵的话,同样的运算可能需要100行甚至更多的代码以跟踪被省略的部分。

  报道称,Taco系统能将多出来的所有代码自动合在一起。程序员只需指定一个张量的大小、是完全张量还是稀疏张量以及用于导入数值的文件位置即可。对于任何特定的两个张量的运算,Taco系统都能绘制出一张分级图,首先表明来自两个张量的哪些配对项是非0项,然后表明来自每个张量的哪些项是与0配对的。它会把所有的0项对剔除出去。

   上一页 1 2  

+1
【纠错】 责任编辑: 李雪梅 余申芳
新闻 评论
010020030800000000000000011154791297319401