RAGを30倍速くするMetaの新技術「REFRAG」｜Atsushi Kadowaki

« メモ。「REFRAGという手法では、検索した関連文書をベクトル化してベクトル形式のままLLMに注入。こうすることで『LLMから回答が来るまでの時間』を最大で約30倍高速化」「情報を圧縮してからLLMに渡す」。