Тензорная молотилка — это небольшой кусочек от функционала GPU. Именно поэтому внезапно оказалось что GPU можно использовать как тензорную молотилку. А вот в обратную сторону нет.

TPU — это просто матричный перемножитель, который решает одну конкретную задачу. А GPU — это процессор общего назначения, на котором выполняются приложения. Просто его математическая часть состоит из нескольких тысяч ALU, позволяющих параллельно осуществлять множество операций умножения и сложения.

Причем аппаратно TPU устроены совершенно иначе нежели ALU GPU. То есть разработка TPU никоим образом не может перерасти в GPU. Это другое устройство.