Jeff Dean se ne va: Google perde il suo miglior tuner di Gemini
Senza l'ingegnere che regolava manualmente i parametri di addestramento, il preaddestramento di Gemini 4 rischia il collasso.
Il vero motivo per cui tutti sono preoccupati per Gemini l'IA di Google $GOOGL dopo che Jeff Dean (foto correlata), il top ingegnere questa settimana se n'è andato:
"Jeff ha una tastiera con questa piccola rotellina del volume (foto2 correlata) sopra. Durante le riunioni, guarda sempre le curve di preaddestramento, in particolare quelle di propagazione del segnale (articolo foto3 correlato). Se qualcosa va nella direzione sbagliata, può digitare una regex e poi usare la rotellina per cambiare il tasso di apprendimento dei *parametri specifici che corrispondono alla regex* in modo fluido e continuo girandola lentamente (foto4 correlata).
In pratica, Jeff è stato il programmatore adattivo del tasso di apprendimento per blocco per i modelli Gemini. Senza questo, la perdita esploderebbe sempre mentre scalano e addestrano più a lungo. Ora che se n'è andato, chi può prendere quel ruolo? Sergey? Non abbastanza Jeff. Andy? Non regge la pressione. Nessuno! Questo è il vero problema per il preaddestramento di Gemini 4 che è in corso ora, quindi il tempo stringe: riusciranno a trovare un nuovo programmatore del tasso di apprendimento abbastanza bravo, abbastanza veloce, prima che arrivi il primo picco??"