-
Notifications
You must be signed in to change notification settings - Fork 2
/
superai-20240502-chat-with-kan-author-etc.txt
71 lines (58 loc) · 7.4 KB
/
superai-20240502-chat-with-kan-author-etc.txt
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
https://github.com/KindXiaoming/pykan/issues/23
I am pessimistic about 'extracting symbolic representations through regression'. #23
Open
yuedajiong opened this issue 6 hours ago · 6 comments
Open
I am pessimistic about 'extracting symbolic representations through regression'.
#23
yuedajiong opened this issue 6 hours ago · 6 comments
Comments
@yuedajiong
yuedajiong commented 6 hours ago •
I am pessimistic about 'extracting symbolic representations through regression'.
The feasible path as I understand it is: (abstraction + (search and/or (heuristic-guessing + validation)))
@genglinxiao
genglinxiao commented 5 hours ago
Should that even be the goal?
My understanding is that the authors believe KAN has such potential, which in turn improves interpret-ability, but extracting symbolic representation should not be the goal.
@yuedajiong
Author
yuedajiong commented 5 hours ago •
你一定程度上,扩大了讨论的范围,我们限定在:采样的数据->KAN学习的模型->KAN提取的符号表示。
直接针对你的理解:通过KAN来提取符号表示,肯定不是KAN单纯目标,如代码示例,还有KAN具有的优势(算法中明显有这些逻辑/函数),其实这肯定是一个比较重要的场景,或者说目标之一。
我为什么有这个疑问呢? 我觉得所有的AI,都是在表示+学习被认知的世界。DL现在是非常热闹,特别LLM。其中“是否符号化甚至强推理,是更强AI的必须的,这是一个问题。” 我自然会思考KAN这种明显有这种优势的方向,走下去会如何。
关于可解释性,我其实不太认同你的,还有KAN的论断:KAN的可解释性更高。
我没有打算这里详细讨论,我大概说我的观点:什么叫可解释性? 我觉得是模型的表示空间,和人类思维对被学习对象的空间,相关的对象和映射,是否能够尽力align。 模型的表示空间,可以被表示成符号化的一些函数复合,不见得可解释性就一定高了。 在传统DL的网络中,这些小的理解单元,被分布在(张量+算子)组合的子网络中;假设KAN中学习完毕,甚至提取出符号,那么这些单元,还必须能够和人类(不一定是某个特定人)的思维空间的能够对齐,不然它还是停留在sin/cos这种函数级别。 要么是对齐人类已有的符号(比如数学/群/上同调,比如自然语言的符号/红色/柔软)。 如果KAN提取出的东西,是人类思维已经有的,那么最好;如果是没有的,确实是解纠缠(Disentangled)的甚至正交(Orthogonal)的一个一个的维度,那只有去"label it",好比从来没有“红色”,我们创造出这个符号来表示rgb中r很高其他分量很低。(如果再深入下去,其实没有rgb只有波的频率;而人类颜色中还有一些颜色是复合频率) 所以,什么是可解释性,这是第一问题。
个人看法,水平有限,欢迎指正。
@genglinxiao
genglinxiao commented 4 hours ago
感谢回复!
确实有些离题太远。我尽量简短回复,我的意思,无论是可解释性还是符号提取,都不必是pykan的目标。我个人的看法,单靠统计学习是无法产生符号知识的。
@KindXiaoming
Owner
KindXiaoming commented 2 hours ago
大家好,感谢大家的讨论。KAN(对于所有模型都是这样)最终是否有用取决于你的应用是什么。可解释性是一个挺主观的东西,不同领域的人对什么东西可解释不一样。比如科学领域,函数就是语言,KAN是有帮助的。对自然语言,人类的概念确实很难用函数去表达,KAN就不行。另外符号回归到底是离散(Search)还是连续(训练神经网络)做,现在还没有定论,只是我个人的偏好,很难说谁好谁坏(还是看应用场景)。
@yuedajiong
Author
yuedajiong commented 21 minutes ago
谢谢两位大神的回复和指点。
我其实也是很认真的在做ASI方向的,一直希望毕生从事这个方向有很多年了,去年感觉财务自由了就辞职自己独立专职做这个方向,也是从头在思考和设计很底层的算法,包含表示和优化。
我心理保持了几个非常高阶的应用场景,作为我设计底层算法的时候,看是否算法成熟,通过scale-law就能达到ASI的程度。
当然,笼统的说,就是一个活生生的人的非理性和理性思维能力。
其中2个场景/应用:
一个场景,是WorldDream,交互式动态立体世界的生成/重构:这个场景,除了商业上的考虑之外,从技术上说,它强迫我去思考那种超高维度的输入,看起来直观但复杂的x->y的关系;当然更远可能会想,能否自发的从rgb最后智能体如果要很好的对世界建模就必须产生出red这样的抽象概念,说的比较玄一点,如果世界重来,人类2.0是不是必然会产生类似red这样的主观概念。
另外一个场景,是Mathink/Mathinker,机器数学家,它强迫我去思考我的算法,能否从简单的count开始,到group这种抽像的概念。 如果尝试将“古今数学思想”这种数学思维发展的过程能够被“计算”化表示,从范畴论的角度:数学对象如何扩展的,态射如何发展的。 从“法”到“算法”到“形式化/符号化”,到“计算法”,“证明法”到“反证法”,... 这些在一个ThinkerMachine中如何被表示和被学习。没有微分如何被发明出微分,没有无限如何被发明出无限,(如果类推能知道数学的下一个类似“无限”这种级别的概念,那无疑是真正的ASI)......
除了KAN这种很有启发的东西,最近有个Symbolica也值得关注,他们想把范畴论带入到code-level,不知道很够走到多高。
@yuedajiong
Author
yuedajiong commented 5 minutes ago •
连续与离散,vs.,NN与Symbol
我觉得强相关但不等价。
我现在隐约觉得的路:(一定程度上又大脑的实例作为证据)
底层和大脑一样,就是NN这种连接主义,对应到计算机实现,就是张量和张量上的计算。
最通用的的表示和计算,就是张量与计算。 比如:红色有一个张量(具体实现可能简化为向量),红色的抽象颜色也有一个张量,计算形式就是张量和对应函数的。这种抽象关系(树或者更复杂的结构关系,比如属于关系),可以体现在张量和对应的函数上。
那我们AI/ML的过程,就是优化类似word-embedding这个空间类似,和学习这些对象之间的关系的函数。
从张量到符号,其实是个对学习“稳定”的张量,做"label-it"的过程。
这个学习过程,我觉得可以置于这种范式之下(之一):world = function_composed(functions_deterministic, parameters_constant, parameters_random) 当能容忍“一定范围”的随机噪音的时候,我可以开始标定,比如红色这种概念的出现;当可以完全消除噪音的时候,我们可以得到数学级严谨的公式。
--- 这一部分,我与当前主流的研究中不同,我能看到的就是大家倾向于用一个单纯的张量来表示一个符号/对象;我倾向于用张量和张量上相关的计算,联合起来表示一个符号/对象,具体到实现就是一个“含参子网络”。
当然,人脑是生物限制,计算机符号部分完全可以直接符号化计算;但得考虑符号产生,和混合系统的优化。