Google PageSpeed Insightsを最大限に引き出すために最適化を行い、サーバーとウェブサイトのコンテンツが正しく最適化されたときにGoogle Page Speedのスコアが高くなります。その最適化がされてないと、表示速度が遅くなり、ユーザビリティが低下＝検索エンジンの順位が下落といったことになります。

Google PageSpeed Insightsはこちら
https://developers.google.com/speed/pagespeed/insights/?hl=ja

WordPressのテーマでもそれぞれ表示速度は違いがあり、あるWordPressテーマではスコアが低く、別のテーマに変更したらスコアが上がるということもあります。
WordPressプラットフォームでは、さまざまな場所にphp,css,js,およびメディアファイルを読み込むため、一般的にモバイルスコアはPCスコアよりも低くなります（シンプルなHTMLページのみが良いモバイルテスト結果が出るようになります。）

Googleページのスピードは、ホスティングサーバーのパフォーマンス、サーバー設定、画像とコンテンツの最適化、プラグインの設定とプラグインのコードの品質（最適化されているかなど）、キャッシュと最小化、サーバー接続の待ち時間など複数の要因に関連しており、ある程度WEBやサーバーに関する知識が必要であり、いわゆるITリテラシーが高くないと解決するのは困難です。

しかしながら、WordPressのサイトスピードを改善するプラグインも出ており、ネットで検索すると方法がたくさん出て簡易的にできるようなこととして公開されております。
そこに危険があり、まったく理解せずに、サイトの情報をそのまま鵜吞みにして設定を行うことは非常に危険です。自身で設定して壊れたというWordPressをたくさん見てきました。特にキャッシュ系のプラグインの設定は知識がないと最悪な結果になることになります。

Google Page Speedを改善するにあたり考慮すべき重要な事項

高品質のホスティングや専用のサーバーを持っている必要がある

自分のWebサイトで共有する場合、低コストの共有ホスティングで良い結果と高速なWebサイトを得ることはできません。

本当に必要なプラグインのみ使用してください

※基本的にプラグインが多ければサイトは遅くなります

キャッシュ系プラグインをインストールする場合、サーバー環境やテーマ、他のプラグインの関連を考慮して正しく設定する。

※不正なプラグイン設定によりスコアが低下する可能性があります

ホスティングサーバー（レンタルサーバー等）を正しく設定します

※一部のレンタルサーバーにはのページスピード最適化機能が組み込まれています。