Evolução Pós-Treinamento na V4: OPD Substitui RL Misturado, Destilando Múltiplos Modelos de Especialistas em Um

De acordo com o monitoramento realizado pela Beating, a metodologia pós-treinamento do DeepSeek V4 passou por mudanças significativas: a fase de RL misto do V3.2 foi completamente substituída pelo (Destilação On-Policy )OPD(. O novo processo consiste em duas etapas. Na primeira etapa, modelos de especialistas de domínio são treinados em áreas como matemática, codificação, comportamento de agentes e seguimento de instruções, com base no pipeline V3.2. Cada especialista passa por ajuste fino seguido de aprendizado por reforço usando GRPO. Na segunda etapa, uma destilação multi-professor OPD combina as capacidades de mais de dez especialistas em um modelo unificado: o estudante realiza uma destilação de logit de divergência KL reversa em todo o vocabulário para cada professor com base em suas próprias trajetórias geradas, alinhando os logits para fundir múltiplos pesos de especialistas em um espaço de parâmetros unificado, evitando assim os conflitos de capacidade comumente observados na fusão de pesos tradicional e no RL misto. O relatório também apresenta o Modelo de Recompensa Generativa )GRM: para tarefas difíceis de validar com regras, ao invés de treinar um modelo de recompensa escalar tradicional, dados de RL guiados por rubricas são usados para treinar o GRM, permitindo que a rede de atores gere e avalie simultaneamente, possibilitando a generalização para tarefas complexas com uma pequena quantidade de anotações humanas diversificadas.