та же высокоспециализированная архитектура подойти

Кто сказал, что она высокоспециализированная? В той части, что используют для математических вычислений — это обычный SIMD, параллельное исполнение на уровне инструкций.

Вы кстати вообще знаете, сколько типов архитектур существует?    

Так как некоторые классы задач имеют большой массив структурированных данных, над которыми нужно выполнять одинаковые операции, а одна из этих задач по случайному совпадению -- это ширпотребовская графика в игрушках, то эти дешевые и стремительно развивающиеся графические решения подмяли под себя рынок всяких-разных вычислений, вытесняя более дорогие варианты. Но это не высокоспециализированное решение (наоборот, НВидия когда-то даже хвасталась, что на их графических процессорах можно запустить тот же Linux). И для его применимости графические процессоры пришлось в свое время серьезно подпилить напильником. Например, развивать вычисления двойной точности.

Суть то на самом деле не так уж таинственная — есть целый класс вычислительных задач где надо очень быстро выполнять большое количество мелких, предсказуемых и слабо связанных между собой операций.

И в этом ее главная проблема с точки зрения массового использования дома и в офисах — о котором активно мечтают в комментариях.