Codelab-Adapter HCI插件的使用


#1

Codelab-Adapter HCI插件

这是一个基于PyAutoGUI的库,很有意思。可以编程操作你的键盘和鼠标,来和其他应用进行交互。Codelab Adapter上关于HCI的文档


#2

在实际使用中遇到一些困难:
通过理解模块的标签,我写了如下的程序并安装了PyAutoGUI


但运行它不会有任何反馈。请问还需要进行哪些操作?


#3

你可以从这个积木开始

点击之后,它会将你的鼠标瞬间移动到左上角

你的程序没有运行的原因是 你此时鼠标没有在输入框里, 你可以在程序运行之后,把鼠标移动到输入框里:


#4

是的,这个插件太好玩了!


#5

我通过它和语音识别创建了一个听写的小工具:smiley:


#6

收到你的邮件了,非常有趣的想法!
这个方向的趣味在于,Scratch可以进行做很多自动化相关的工作,通过接管鼠标键盘,与任何其他程序互动


#7

我想把这个库接入进来:https://github.com/mherrmann/selenium-python-helium

这样一来可以操控浏览器界面元素,实现在Scratch里操作Scratch界面元素,实现“自指”,很多智能问题 都跟操控自身有关, 它甚至可以自行复制(类比生物)

一些可能的脑洞是, Scratch 甚至可以自己玩游戏,或者自己创建程序

adapter node可以引入任何第三方库,用自定义node来做似乎比较合适。你对AI很有兴趣,这个方向是否有兴趣