既然神经元的结构非常简单,那么为什么不制造几百亿个模拟神经元来模拟人脑?

J
AI+留学专家菊叔
朗读

现在的深度学习模型不都是这样吗?

为什么最开始他们那些模型都叫net,比如李飞飞赖以成名的imagenet,这个net就是“模拟的神经网络”的意思。

scaling law就是因为net的节点规模足够大,所以“涌现”了“智能”。

实际上这么多年的机器学习,首先它的基础就是“模拟神经网络”与“模式识别”,开始是文字和图片,后来是“多模态”,为什么llm大模型最先取得突破,一个是language或者说text的语料足够多,这样其“模式”就足够多,可识别,可“向量化”,其次就是text向量起来信息密度高。

而“神经网络学习算法”则经历了很久的沉寂,实验室的苦禅,到工业界的突破。

最主要的突破在于transformer的发明

和scaling law

还有attention is all you need,这个大概在scaling law之前

scaling law就是节点和参数呀,就是你讲的模拟“几百亿个神经元”,组成的神经网络。

所以当前的基于llm(大语言模型)的AI热潮,都是神经网络学习的发展,超大规模模拟神经网络学习。

——

不过,由于神经元本身的“简单”和“神经突触可塑性”,以及“神经递质代谢”,这些“非常简单”(当然是反话)的结构生物学,神经生理与神经代谢,计算机科学家与神经科学家与脑科学家与生命科学科学家们的全体,至今也还没有搞清楚,也无法“全真模拟”几百亿个神经元,别说几百亿个,400多个神经元的秀线隐杆菌虫这种模式生物的神经系统,结构可能还只能大致模拟,代谢估计很难模拟了。

有一个项目是美国的brain和brain2.0,其中还分了好多钱给一个“连接组学”的研究,这就是正规的人脑神经元“组网”的研究,可能花了几个亿美元,完成了人脑一立方厘米,注意是一立方厘米,的“连接组结构扫描和影像数据库”。

(成年人的大脑体积通常在 1100 到 1500 立方厘米 (cm³) 之间。

  • 男性: 平均约为 1260 cm³。
  • 女性: 平均约为 1130 cm³。)

所以,你说模拟人脑,是已经在做的,但是模拟要“达到人脑的水平”,那还有很远很远的路要走。

因为神经元虽然简单,但是神经突触,神经网络(连接组),太复杂了。

神经突触可塑性,一方面是“长期记忆的储存结构”,一方面也是“神经网络链接复杂性”的来源。这个也太难模拟了。

神经元结构是简单,复杂的在于它的组网及重组,代谢与调节。

说实话一个一吉瓦的llm数据中心还没有一个一天消耗一碗大米饭的能量的大脑复杂。

点击转发,手留余香