Mark Blog

Be faithful to time, Be loyal to yourself.

GBDT

GBDT

GBDT GBDT回归和分类的相同 根据样本,预测初始值$F_0(x)$ 根据损失函数,求一阶导数梯度,得到残差的计算公式,并根据$F_0{x}$计算残差。 建立决策树,对残差进行回归。 根据建立好的决策树,对残差进行预测$\gamma_{jm}$。 $F_1(x) = F_0(x) + \gamma_{jm}$ GBDT回归和分类的不同 GBDT中的回归和分...

Add Two Numbers

Add Two Numbers

Add Two Numbers 题目 给出两个 非空 的链表用来表示两个非负的整数。其中,它们各自的位数是按照 逆序 的方式存储的,并且它们的每个节点只能存储 一位 数字。 如果,我们将这两个数相加起来,则会返回一个新的链表来表示它们的和。 您可以假设除了数字 0 之外,这两个数都不会以 0 开头。 示例: 输入:(2 -> 4 -> 3) + ...

Two Sum

Two Sum

Two Sum 题目 给定一个整数数组和一个目标值,找出数组中和为目标值的两个数。 你可以假设每个输入只对应一种答案,且同样的元素不能被重复利用。 示例: 给定 nums = [2, 7, 11, 15], target = 9 因为 nums[0] + nums[1] = 2 + 7 = 9 所以返回 [0, 1] 解法 from typing im...

Simhash海量文本去重

Simhash算法

Simhash Simhash算法是为了解决文本相似性的。 Simhash流程实现 1、分词,把需要判断文本分词形成这个文章的特征单词。最后形成去掉噪音词的单词序列并为每个词加上权重,我们假设权重分为5个级别(1~5)。比如:“ 美国“51区”雇员称内部有9架飞碟,曾看见灰色外星人 ” ==> 分词后为 “ 美国(4) 51区(5) 雇员(3) 称(1) 内部(2) 有(1...

Python中的多进程和多进程

多进程和多进程

多线程和多进程 多线程(Threading) 多线程的理念是分批的想法。 如果我有一大批数据,使用一个cpu,可能需要10秒,但是如果我把数据分成两批,同时使用2个CPU进行处理,时间就可以减少到5秒。 添加线程 import threading def thread_job(): print('This is added Thread, number is %s' % t...

维比特算法

维比特

维比特算法 问题 动态规划最佳的路径: 路径总数为: 3*3*3=27 每次从头算到尾,每一条路径需要经过4次加法,共: 27*4 = 108 维比特算法的推演 假设我们处于位置t(有n个选择),如果我们想要知道t+1(m个选择)步应该怎么走,我们需要知道从(0-t)共n个路径的值(这个路径的值已经是前面的最小的了)是多少。还需要知道从t到t+1的对于n中的每一个,对应的...

深度学习中的优化器

优化器

深度学习中的优化器 指数加权平均 说到优化器,需要先了解一下指数加权平均的基础。 什么是指数加权平均 指数加权平均(exponentially weighted averges),也叫指数加权移动平均,是一种常用的序列数据处理方式。 它的计算公式如下: 其中: θ_t:为第 t 天的实际观察值, V_t: 是要代替 θ_t 的估计值,也就是第 t 天的指...

BP算法

BP

BP算法 前向传播 对于k,k+1 层的前向传播为: 反向传播 损失函数 Loss对k层$w^{(k)}, b^{(k)}$偏导数为: 假设:$\delta^{(k)} = \frac{\partial{L(y, \hat{y})}}{\partial{z^{(k)}}}$ 计算$z^{(k)}$的导数 计算$\frac{\partial{z^{(k)...

吴恩达deep-learning序列模型-序列模型与注意力机制

序列模型与注意力机制

序列模型与注意力机制 基础模型 机器翻译(seq2seq) 编码网络和解码网络 这是一个RNN的结构 首先,把法语输入一个RNN,能够得到一个向量。–编码网络 再把这个向量作为输入,输入一个RNN,得到输出的英文。–解码网络 图像描述(image2seq) 首先把图片输入一个CNN,得到一个向量。 再把这个向量作为输入,输入到一个RNN,得到图片对应的...

Hackintosh踩坑盘点

Hackintosh踩坑盘点

Hackintosh 那些踩过的坑 常识 kext 驱动程序 详细信息 备注 FakeSMC.kext 安装hackintosh的核心程序,没有它就没法在你的电脑上面运行macOS 必备 Lilu.kext 内核扩展程序,...