南亭之游（参见《游南亭》）后，谢灵运开始了他在永嘉境内的探奇搜胜。一方面山水并不能真正抚平他心中的幽愤，所以这一段时间中，他的诗中经常出现“倦”游的字样；然而另一方面，山水又时时给他以新的感受，使他失去平衡的心态，至少获得宣泄而趋于暂时的平衡。也就在这种徬徨徜徉中，他确立了自己山水诗鼻祖的地位，这或许是他自己始料所未及的吧。
诗分三个层次，由起句到“况乃陵穷发”为第一层，写倦游赤石，进而起帆海之想。由“川后”句至“虚舟”句为第二层次，正写帆海情状与心态变化。“仲连”句以下，为第三层次，即游生想，结出顺天适己，安养天年之旨。心情的变化则是贯串全诗的主线。
此诗的情理又都在自然精美的写景记游中自然地体现。“扬帆采石华，挂席拾海月”，海产珍奇，而俯拾皆是，可见诗人扬帆于暖风静海中盈满心胸的恬适之感，于是下文请从任公适己顺天之想也就水到渠成了。鲍照评谢诗云“如初发芙蓉，自然可爱”（《南史·颜延之传》），正是指的这种中充实而溢于外，风华流丽而不伤于巧的语言特色。