大模型底层到底有多简单?看懂这40行核心代码,你就能用C++纯手写一个GPT-2推理引擎
一、五行代码,一整个GPT-2——这可能吗?
打开gpt2_pico.py的第 37 到第 41 行,你会看到一段让任何 C++ 程序员都要揉三次眼睛的代码:
defgpt2(inputs,wte,wpe,blocks,ln_f,n_head):x=wte[inputs]+wpe打开gpt2_pico.py的第 37 到第 41 行,你会看到一段让任何 C++ 程序员都要揉三次眼睛的代码:
defgpt2(inputs,wte,wpe,blocks,ln_f,n_head):x=wte[inputs]+wpe