" 本書旨在幫助讀者理解開源大語言模型的架構、訓練和推理過程，以及相關的源代碼。主要研究對象是Meta開源的Llama模型。本書從Python Numpy實現(xiàn)單層感知機和神經(jīng)網(wǎng)絡開始，逐步講解了如何實現(xiàn)Transformer模型和Llama模型。此外，本書還介紹了增量預訓練模型、監(jiān)督微調(diào)和人類反饋強化學習等模型訓練過程。對于私有知識的加入，書中重點介紹了監(jiān)督微調(diào)，也介紹了RAG中詞向量的計算。本書采用循序漸進的方式，通過功能框圖、代碼分解執(zhí)行、執(zhí)行結果顯示、背景知識補充等手段幫助讀者理解模型和算法。
本書的核心讀者群體定位為大語言模型應用的開發(fā)人員，特別適合那些想從計算機視覺轉向自然語言處理的人。此外，本書還適合作為大學本科生及研究生相關課程的參考教材使用。"