swiglu对外接口

前向接口：

输入：

x：必选输入，数据类型float16, bfloat16, float32

输出：

y：必选输出，数据类型float16, bfloat16, float32

属性：

dim：可选属性，数据类型int32_t，缺省-1。

反向接口：

输入：

dy：必选输入，数据类型float16, bfloat16, float32
x：必选输入，数据类型float16, bfloat16, float32

输出

dx：必选输出，数据类型float16, bfloat16, float32

属性：

dim：可选属性，数据类型int32_t，缺省-1。

案例

    import os
    import torch
    import torch_npu
    import numpy as np
    import math
    from ascendspeed.op_builder import SwigluOpBuilder

    x = np.random.uniform(-2, 2, (8192,1,3904))
    x = torch.from_numpy(x).float().npu()
    y_grad = np.random.uniform(-2, 2, (8192,1,1952))
    y_grad = torch.from_numpy(y_grad).float().npu()

    x.requires_grad = True
    // 正向接口案例
    ascendspeed_ops = SwigluOpBuilder.load()
    result = ascendspeed_ops.swiglu(x, dim=-1)
    // 反向接口案例
    result.backward(y_grad)

zhouhao / AscendSpeed

swiglu对外接口

前向接口：

反向接口：

案例

简介

发行版

贡献者

近期动态

zhouhao / AscendSpeed .gitee-modal { width: 500px !important; }

swiglu对外接口

前向接口：

反向接口：

案例

简介

发行版

贡献者

近期动态

搜索帮助

zhouhao / AscendSpeed