GitHub Copilotを生んだ開発者が教える生成AIアプリケーション開発
Authors
John Berryman, Albert Ziegler 服部佑樹, 佐藤直生
#LLM
第I部 基礎
1章 プロンプトエンジニアリングの世界
2章 LLMを理解する
- ハルシネーション/真実バイアス
- トークン/トークナイザー
- コンテキストウインドウ
- temperature
- トランスフォーマー
3章 チャット形式への移行
- RLHF
- HHHアラインメント
- ChatML
4章 LLMアプリケーションの設計
- 赤ずきんの原則
- RAG
第II部 中心的なテクニック
5章 プロンプトのコンテンツ
- Few-shotプロンプティング
- DSPy
6章 プロンプトの組み立て
- RAG
- チェーホフの銃の誤謬
- 語彙検索/ジャッカード類似度
- TF-IDF/BM25
- ニューラル検索/埋め込みモデル
- ベクトルストレージ
- コンテキスト内学習/中間部の喪失/無関心の谷
- Markdown
- Anthropic/Artifacts
- XML/YAML
- 加算的貪欲法/減算的貪欲法
7章 モデルの制御
- logprob
第III部 プロンプト作成のエキスパート
8章 会話型エージェント
9章 LLMワークフロー
- Assistant/UserProxy
10章 LLMアプリケーションの評価
- SOMAアセスメント
- A/Bテスト