什么是ai智能机器人?

什么是ai智能机器人?

这个机器人似乎前阵子比较火,有不少硬件形态,有比较小巧可爱的,也有硬核直接的,但内核是不变的,如果你从来没玩过,好像长什么样,可以B站看看或淘宝啥的搜索一下。我家的比较抽象,长得像这样:

跟着电路图或者引脚说明接线,这步不是有手就行,还得有力:)因为ESP32的针脚和面包板孔不完全匹配,需要用力强行按进去。看过B站有个哥们用锤子敲,也真是乐坏我了。供电的话我们可以随便拿个充电宝,倒也是很容易搞定、也有一定移动性。

最开始体验时,参考官方的DIY教程将设备刷好官方固件后,整体响应较快,对话流畅,不过模型数量有限,声音复刻收费,特别是如果这个不能联网做点啥,光和模型过时的数据聊天略有点无聊啊。结合当前较火的MCP功能,于是有了两个扩展目标:

消耗了一点闲暇时间,目前已经跑起来咯,下面简要分享一下过程。如果你也想折腾或者有好点子,欢迎一起交流。

小智官方并没有把服务器开源,但提供了交互协议等,有第三方开源服务器实现 xiaozhi-esp32-server,可供使用。要完成可以使用第三方服务器,我们做两件事:

其实都很简单,我们需要动脑的机会不多,像我这样一步步来即可。

参考xiaozhi-esp32-server的Docker运行全模块教程。我推荐使用docker部署,主要是为了保持本地的干净。

准备配置文件.config.yaml,在这个服务器中,使用了多层config来互相覆盖,我们定义的.config.yaml会覆盖默认的config.yaml。

这里的配置不用太多,因为它的配置还有一层可以动态通过manager-api来下发更新,所以这里我们只需要配置一个manager-api的地址和secret即可。

然后我们使用docker-compose部署,在此之前你需要自行下载语音识别模型文件到models/SenseVoiceSmall/model.pt,这些细节上面链接都有提,不啰嗦了,最终yaml如下:

使用命令启动:

等服务起来了之后,我们可以使用仓库自带的test页面测试,浏览器打开main/xiaozhi-server/test/test_page.html,可以看到如下页面:

你最好是在这个网页测试通过,聊天、语音等都符合你的预期,再进行下一步。话说这个页面也是调试利器了,效率高不少。

这里还有个小技巧,因为我们接下来需要将ota/websocket地址烧录在固件上,如果你不确定服务未来会部署在哪台机器上,可以通过一个反向代理来转发。给个示意了解一下即可:

上面我将api-xiaozhi和web-xiaozhi都指向了我的本地IP,这样我就可以通过api-xiaozhi.mrlin.cc和web-xiaozhi.mrlin.cc来访问了,未来迁移到其他机器上,只需要修改这个yaml文件即可。你不搞这一步一点问题也没有,继续用IP,注意那样就使用http/ws协议。

这里我们要进入到官方固件仓库来继续我们的操作。并且编译烧录等需要你在Windows下进行了。 我们可以参考这篇文章Windows搭建 ESP IDF 5.3.3开发环境以及编译小智大概了解整个过程;接着看这里简要而关键的固件构建过程。

简单来说,当前最新版本我们仅需要修改OTA_URL地址即可,以往要修改websocket地址,现在它已经通过OTA下发了。

之后构建就几个命令:

之后是烧录,将你的小智AI设备通过串口连接到电脑,然后使用idf.py build构建,接着使用idf.py -p PORT flash烧录。 这里的PORT根据你连接的设备不同,可能有所不同,在电脑中我的设备查看串口,我的是COM4。如果嫌烧录慢,可以添加参数-b 2000000来加速。

一切成功后,同时也在上一步骤的服务器的server.websocket中填入wss://api-xiaozhi.mrlin.cc/xiaozhi/v1/,然后就可以打开设备连接自己的服务器开玩了。

现在你可能发现有了更多的LLM选择,有了更多的TTS(声音)等,似乎是更开放了,或许可以玩得更嗨了。

之前在玩火山引擎时,送了几次声音复刻给我,体验了一下,当我想用在小智上时,发现已经过期了,居然只有十天有效期,这也太抠了。我去腾讯云找了一下,也有免费的额度,申请下来有3个月,那么就玩玩吧。不像火山引擎的声音复刻在网页上提交声音即可,腾讯云的复刻要原始得多,需要自己使用API,所幸相关功能也在它的tccli中,那么也就是敲命令的事,也不可能难倒我们。

我们可以参考文档声音复刻相关接口,使用命令行来把过程体验一下。至于如何安装tccli,可以参考腾讯云命令行工具。

这一步要我们根据提供的文本来提供一段音频,我盲猜是不是要规避用别人的声音来复刻呢?

这一步看名称感觉多余,但是下一步创建任务需要这个AudioId,所以还是得来一下。

我们得到了一个任务ID。原因或许是这一步是异步的,服务器训练这个声音也需要时间。

查到的结果里有几个比较关键的,VoiceType、FastVoiceType,前者是音色ID,后者是快速复刻时使用的音色ID,请用小本本记录下来备用。

这一步可能真没啥用了,我们要的信息前面也有了,说有用的话,你大概知道这是一个男人名叫kevin的声音。

返回的内容包括base64后的音频数据,我们使用jq来提取并保存到文件:

播放来听听吧,感受一下自己声音的魔力或者惊吓。

当我使用复刻声音时,发现小智server并不支持,于是我给它添加了支持,并提交了PRfeat: 支持腾讯TTS声音一句话复刻后的合成,这次没有很快被合并,因为官方说某个字段要废弃了,又没说最新用什么方式,明儿就就腾讯云提工单。

如PR的修改所见,仅是增加了上述fast_voice_type参数的传递即可。不管上游合不合修改,反正我本地已经用上了。有个小发现,这里server中处理不同语音合成模型的参数,UI是基于fields的字段及其定义动态生成展示的,这还不错。顺手update一个DB,对应的UI就有新字段出来了。

不知道当你发现你自己在和自己说话时是什么感受,反正我挺惊奇的,感觉自己像个神经病。明儿我还是复刻一个我孩子的声音吧,我就可以随时亲子教育了:D

在这个第三方服务器的实现中,它支持了一部分MCP的能力,也即stdio模式的mcp server。这会因为使用容器的模式,限制了它的使用。容器内可没有npx/uvx啥的,更没有chrome了。我就一个小小愿意,问它谁是最美丽的人,不对,问它昨天曼联输了个几比几,它不能实时联网找到正确答案我就不满意了。

同样的,让我们扩展它,只需要几行代码的修改就可以啦,详见PR feat: MCP server支持使用sse模式。一般来说宿主机上使用npx/uvx/chrome等,容器内我们通过http协议使用mcp-server还是更简单的。可是有一些mcp server人家就没实现sse咋办?一点都不困难,比如我们借助supergateway就可以让几个模式互转。

比如我有这样一个perplexity-ask的mcp server,它只支持stdio模式,那么我就可以使用supergateway来让它支持sse模式:

使用supergateway来启动:

于是我们给小智server的mcp config就可以这么简单了:

现在你的小智就可以更好的使用MCP server了,我试着问了一下,它说曼联最近欧联13场不败!

像上面这样,它需要依赖机器安装相关的服务,换一台机器就歇菜了,并且为了转换为sse还是比较麻烦。前阵子在试用阿里云百炼平台时,发现有个有意思的扩展,对于它不支持的mcp server,可以通过云函数来自定义扩展它。我想何不借助于它来包装一下mcp server,这样就可以在任何地方使用它了。

我们可以打开https://cap.console.aliyun.com/explore?lang=MCP+Server,这里以高德地图为例,我们只要在云端部署它之后。

本地只需要一个url(填上面公网访问地址)即可使用这个mcp server了,它自动提供了sse接口。至此,你居然就将mcp server “上云”了:)审计和日志也一应俱全呢。现在你可以试一下再和小智聊天,对于地图信息,它比我们还清楚了。小声的说,地图API都提供了天气查询能力,咱也不用再找一个天气服务了呢。

这个机器人应该还有不少待开发的东西,无论软件还是硬件上。比如如果能再添加几个外设,预期会更有意思了。它本身也支持如Home Assistant等智能家居平台,可以实现如开关灯、开关窗帘等操作。 技术上也有不少地方可以进一步聊聊,比如MCP的使用姿势问题等,以及如何进一步提升对话的响应速度等。 记录一张图留念,本想放视频的,第一不好录制,第二声音这东西,你懂的。

考虑到篇幅问题,今天就到这里吧。如果你对某些地方感兴趣,欢迎留言讨论。如果你没什么想说的,点赞、分享、关注,都是对我最好的鼓励。我努力创作有价值的东西,期待未来与你再会。