挑升照顾电信行业用户行径建模的贫苦学生萝莉。

华为 GTS 部门 AI 算法团队提议GTS-LUM，已毕迁徙通讯用户精确行径洞析与多跳预计，实验中成果大幅优于 Meta 的 HSTU 和字节的 HLLM。

GTS-LUM，全称 Global Technical Service-Large User Model，主要有以下几个立异点：

基于海量用户行径序列数据自监督、多模异构 Encoder-Adapter-LLM Decoder 架构、Q-former 语义空间和业务空间常识对王人、立异多模范时序处理机制、多用户运营场景后覆按、精确捕捉用户业务级浅层语义。

实验中，在悉数评估场所上均显赫优于基线模子，拿下鸿沟新 SOTA。

以下是更多细节。

GTS-LUM 方法明白

跟着电信市集浸透率趋近足够，存量用户价值挖掘与用户留存成为运营商中枢政策。

电信用户在网行径产生的海量数据（日均 PB 级）成为一种新式数据模态。

以往，运营商借助传统机器学习的方法学惯用户行径，但受制于模子体量，预计精度上的瓶颈日益特出。而不同于纯熟的互联网推选场景下的用户行径建模，电信场景的特殊性体当今：

用户的长周期决策机制

电信劳动动作社会基础步伐具备强一语气型需求，导致用户决策呈现长周期特征。

用户要道决策行径（如套餐变更、携号转网）更多受始终劳动体验运行（如汇聚踏实性、资费合感性等），与互联网场景的短期兴致运行机制酿资本色各别。

该决策特征使得传统序列建模方法中基于近期行径的采样策略濒临挑战，径直应用可能导致要道历史信息丢失，耗损预计精度。

多模异构数据秉性

与互联网场景中常见的以历史用户 - 商品交互序列为基础，预计用户下一段时候内的商品交互为场所不同，电信用户的数据输入与预计场所有较着的异质秉性，体当今：

行径打点万般性：包含用户 - 用户 / 产物 / 位置 / 渠说念 / 网元交互等信息；

时候粒度档次性：包含秒级（的确时信令）、日级（如业务办理）、月级（如账单）等多个模范；

场所异质性：包含用户流失预警、套餐升级预计、营销反应建模等多运营任务。

这种复杂性使得现存时候濒临几个瓶颈：

1、跨时候模范建模不及：现时序列建模方法劳苦灵验的时候处理机制，以捕捉用户跨日、周、月等多时候模范下用户的始终行径演化花样；

2、多模异构数据表征局限：现时互联网推选时候常借助商品的文本描画，难以充分哄骗电信鸿沟异构数据模态丰富的秉性强化用户表征智商，径直应用存在异构空间对王人问题；

3、场所分离严重：电信鸿沟现存决策时常对流失预警、套餐升级预计等运营任务孤立建模，效用低下，劳苦斡旋模子架构提真金不怕火和场所愈加灵验关联的用户表征。

由此，华为 GTS 部门 AI 算法团队提议了 GTS-LUM。

GTS-LUM 时候架构如下图所示：

多模范时序处理机制

GTS-LUM 基于多层级时候辞别交融语义策略，通过构建"时段 - 周期"语义描画优化用户行径序列建模。

具体而言，基础层级将逐日辞别为多少典型时候区间（如早岑岭、午间时段等）；并在周期层级重迭责任日 / 周末的周级维度特征，酿成对用户行径发惹事件的复合语义描画。然后将用户行径按照指定时候切片范围进行处理汇聚。

针对统一时候切片的用户行径，组织序列时，在肇始端镶嵌对应的时段 - 周期语义描画，并在序列末端添加特殊分隔符 [ SEP ] 动作行径片断的鸿沟标识。

该预备通过粗粒度业务时候特征与细粒度行径位置关系的协同建模，酿成具无意候感知智商的用户行径序列。

多模异构框架

GTS-LUM 构建了多模态协同的用户行径镶嵌框架，精确捕捉用户业务级浅层语义。

在语义特征维度，通过任一时候切片内对用户和产物 / 位置 / 渠说念的交互行径进行处理汇聚得到"一句话"描画，然后基于预覆按话语模子取得文本向量镶嵌，并在语义空间本质谱聚类，从而提真金不怕火可诠释的行径语义编码。

在业务特征维度，摄取 Node2Vec 算法对用户 - 用户交互等图数据以及 TableGPT2 框架对终局缔造、地舆位置等属性维表进行处理，生成多模态业务镶嵌向量。

本方法的中枢立异在于引入了基于 Q-Former 适配器的跨模态对王人机制：

通过交叉防卫力层自动筛选与现时语义最算计的多模态业务特征，并借助分享的自防卫力层构建业务特征空间和语义空间的潜在映射关系，临了通过对比学习任求已毕跨模态常识对王人。

值得防卫的是，论文中立异性地为 Q-Former 引入了荒谬覆按任务，包括序列片断 - 文本匹配、序列片断 - 文本对比学习和序列片断 - 文本生成，使其兼具多模态对王人器与用户始终兴致压缩器的双重功能。

场所感知建模

GTS-LUM 进一步优化了用户表征学习流程，通过场所感知建模特出了与任务场景最算计的历史行径。

不同于传统推选模子的场所后置范式，GTS-LUM 将预计标签前置于行径序列肇始位置，哄骗 LLM 的因果防卫力机制已毕双阶段优化：

在防卫力计较阶段，场所标签动作先验条目动态调度历史行径的防卫力权重散播；在表征生成阶段，基于 Decoder 的自记忆架构已毕渐进式特征优化，通过多步解码流程迭代调度用户表征向量。

工业级考据成果

在某省级运营商实在场景中，考中 20w 傍边用户数据量在 Ascend 910B2 NPU 上进行覆按和推理，实验甘休泄露 GTS-LUM 推崇亮眼。

GTS-LUM 与业界决策对比如下：

GTS-LUM 在悉数评估场所上均显赫优于基线模子。

甘休标明，尽管典型推选模子在实验室数据中推崇邃密，但在具有鸿沟特定复杂性的工业级数据集上会出现显赫的性能下落。

具体而言，GTS-LUM 比拟 Meta@HSTU 决策平均进步 107.86%，比拟 ByteDance@HLLM 决策进步 31.38%，这些更正突显了交融多模态输入的弥留性，以及将怒放宇宙常识与特定业务常识对王人的必要性。

更多实验甘休，请参阅论文。

GitHub 贯串：https://github.com/zzzzztw/GTS-LUM/blob/main/GTS-LUM.pdf

一键三连「点赞」「转发」「箝制心」

宽饶在挑剔区留住你的念念法！

—  完  —

学术投稿请于责任日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 技俩主页贯串，以及算计边幅哦

咱们会（尽量）实时回话你

� � 点亮星标 � �

科技前沿进展逐日见学生萝莉