光电专业有一个很重要的选择是做电还是做光，是走“EE Electronic Communications”的路还是走“OE Optical Engineering”的路，用国外的学科划分的话（其他像CS、EI要补的基础课太多，等同于转行）这两个是比较正统的光电。
国内光电的头部去向，除了另一位答主说的华科和浙大以外，我的同学有做光通信去天大和北邮的，和做微电子去清华和北航的。出国的基本转了CS。
从学科上来谈，我们当年学校设置的专业大方向，用ABCD来分，分别是激光、材料与器件、光通信、图像处理。从其他院的光学相关专业来说，我知道从事相关专业的还有精密仪器、地球物理等。
如果题主大二觉得matlab难倒不是什么问题，但是如果长期觉得难，有必要考虑是一直走科研还是以找工作为目的，这个目标在没有特定喜好热爱的情况下决定了你的学科选择。赞同题主考研的行为，这个专业发挥专业优势非常有必要。
至于重点专业课，我不推荐诸如量子力学这样理论性过强的课程作为最重要要掌握的课程。我个人推荐《信号与系统》《物理光学》《模数电》和《激光原理》。它们属于专业基础课，是我个人在从事不同的光学相关分支工作时都必然会用到的。
以上，如果评论区有针对性提问再补充。
