来源：少数派投资 作者：高浩铭

1、ChatGPT中的注意力机制

大家都知道，ChatGPT对理解语义的任务表现的非常出色，它是基于Transformer模型建立的。Transformer模型是谷歌在2017年《Attention is All You Need》一文提出的，这里的Attention，即注意力机制，则是Transformer模型的核心。没错，“注意力”机制就是类似于人类生活中朴素的注意力。

(资料图片仅供参考)

从心理学的角度，人们在复杂环境中倾向于关注值得注意的点。比如科学家曾做过这样的实验，当人们看下图时，注意力主要集中在红色的区域，因为人们的大脑已经可以快速判断哪个区域蕴含的信息最多。

类比于人类的注意力，Transformer模型也懂得化繁为简，它在训练过程中通过对比接收到的问题与全样本所有问题的关键特征，越相似的对结果的影响越大，即计算相似度加权获得结果。

区别于传统更强调时间序列的模型，它可以捕捉到长时间跨度数据之间的关系。通过训练大量数据，Transformer模型可以提取关键信息和发现潜在模式，使得注意力朝着正确的方向发展。

应用在投资领域，训练Transformer模型就好比让它不断地在模拟盘中摸爬滚打，循环往复，朝着更高的收益努力，它就可能从一开始只关注价格，进化为更关注量价关系，甚至是发现一些高胜率高赔率的交易信号，这种注意力的变化便是模型的关键。如果收益曲线还不错，就说明模型的注意力关注到了重要的信息。

2、行为金融学中的有限注意力

介绍完Transformer模型中拟人化的注意力机制，我们再回到起点——人类的注意力。在金融市场中，投资者往往面临着海量的信息，无论是纷繁复杂的技术指标还是天花乱坠的产业逻辑，我们很难将所有的因素都考虑进来。

因此，我们会依据自身经验去筛选关键的信息，从而做出投资决策。行为金融学中的有限注意力理论关注过程中容易出现的偏差：投资者往往会关注那些更容易获得、更显眼的信息，而忽略其他重要但不易察觉的信息。这种选择性关注导致了投资决策的偏误，从而影响市场的有效性。

前一段时间TMT板块大火，机构讨论度相当高，专家们通过比较宏观环境、事件催化与技术指标，纷纷对标起历史上各段火爆行情，不仅对标TMT板块历史上的行情，还有对标其他成长赛道初期的行情。在这个过程中，国外巨头企业的事件驱动、国内更耳熟能详的企业以及结构化行情中的领涨股等等这些都足够引人关注。我们更应该在事前找到未来会被广泛关注的机会，而不是被涨跌绑架，避免因注意力的有限产生非理性的行为偏差。

3、投资需要什么样的注意力？

从定义上来看，Transform模型中的注意力机制与行为金融学中的注意力理论都涉及到“注意力”这一概念，但它们的本质是不同的。举个例子，如果让Transformer模型与研究员同时参与TMT板块的决策：Transformer模型是为了高收益的目标，通过无数次模拟盘尝试，调整对于行情的注意力，最后进行决策——但是这个注意力究竟是什么样的，我们不得而知；研究员是通过多年的学习与积累，建立起了自己的投资体系，决策前对于本轮行情的关注点是可知的——但对于是否能取得正收益很难给出具体的数据支持。

两者的缺点都显而易见，前者是：若ChatGPT真推荐一只股票（真实情况是它对于投资相关的问题回答的非常理性），但无法给出具体的原因，你真的敢买吗？而后者的问题就容易在我们每一个投资者身上发生：我们的注意力容易被市场中太多信息干扰，尤其在行情火热时，看似理性分析的注意力恰恰是非理性的情绪造成的。

主观与量化相结合的体系则可以在一定程度上取长补短。量化的回测方式避免了被涨跌绑架，造成先入为主的简单对标逻辑。特别是对于刚刚接触市场的投资者，没有经历过的行情信息均可以被利用；对于经历过的行情，回测也可以进行标准化检验，避免了记忆偏差与幸存者效应。它给予你的指导是可回溯、可迭代的。

在主观的注意力机制中，人们的创造力又可以提供给量化模型更多“所见即所得”的策略，而不仅限于黑盒中的数据拷问。比如说，这轮由国外新技术推动的行情很容易让大家联想到之前的“云宇宙”、“机器人”等，那么这里的信息显然不是股价走势那么简单，如果仅仅让模型在量价关系中训练，是无法获得这个在大多人眼中“显而易见”的观点的。毕竟语义理解技术再先进，GPT4也是从已有的语料库中训练得到，逻辑思考能力依旧有待提升，而灵光乍现的创造力或许能注入新的活力。

尽管Transformer模型中的注意力与行为金融学中的注意力有所不同，但它们在金融领域存在一定的联系，可以相互借鉴和结合，从而在市场犹豫时把握分歧的机会，在市场狂热时做出更理性的决策。

编辑/lambor

标签：