Criar música, narração e efeitos sonoros
Fluxos nativos de áudio pela fal.ai no Canvas e Workbench.
- Abra Imagens > Fluxo de áudio no Canvas ou Workbench. Configurar acesso reutiliza sua conta fal.ai no cofre criptografado do desktop. Habilite o workspace, modelos de áudio permitidos, envio de mídia e acesso opcional de agentes com tarefa; mantenha reservas por execução e por dia. Não é necessária outra chave por nó. A API da Higgsfield documenta apenas áudio nativo em alguns vídeos, sem modelos independentes de áudio. Nenhum endpoint Suno foi confirmado no catálogo oficial da fal; ele não é anunciado nem inventado.
- Pesquise o catálogo de áudio, escolha um modelo e leia o contrato oficial. Há ElevenLabs Music, MiniMax Music e Lyria conforme disponibilidade, além de voz e efeitos ElevenLabs. O catálogo ao vivo filtra saídas de áudio; modelos podem mudar, ser descontinuados ou usar contratos não suportados. Cada modelo expõe seus próprios campos, padrões, limites, exemplos e documentação. Voz, idioma, letras, seções de composição, modo instrumental, duração e referências só aparecem quando declarados pelo modelo. Use vozes e referências com autorização.
- Narração: coloque apenas as falas em Text, ou cada interlocutor na lista Inputs de diálogo. Deixe Direção e notas de contexto vazias em contratos exclusivos de fala. Direção musical vai em Prompt; letras e planos de composição têm campos próprios. Notas só podem complementar modelos com campo de direção. Notas de produção e instruções de câmera nunca são adicionadas silenciosamente às falas. As entradas de referência selecionam nós de áudio/vídeo/imagem pelo nome ou arquivos confinados ao projeto; apenas entradas explicitamente vinculadas são enviadas.
- Salve, Estime, confira dados enviados e reserva, e Gere uma vez. Modelos cobrados por caracteres contam Text/Inputs reais. Cobranças por duração usam o valor explícito, não cinco segundos ocultos de vídeo; minutos são arredondados para cima. Quando não for possível calcular, informe unidades estimadas de cobrança. Estimativas e reservas de 4x não limitam a fatura do provedor. Envios incertos não são repetidos automaticamente; Tentar baixar novamente reutiliza o resultado pago.
- O áudio concluído é salvo sem transcodificação em generated/audio por padrão e aparece como nó nativo com reprodução e download. Reutilize-o em outro fluxo de áudio ou entrada de áudio de vídeo compatível. O modelo deve aceitar essa referência; entrada salva não garante voz generativa idêntica. Contêineres MP3, WAV, OGG, M4A e FLAC são suportados; PCM bruto e telefonia são recusados antes do envio. A reprodução depende do codec. Remover do Canvas preserva o arquivo, mas não autoriza agentes a reutilizar históricos. Fluxos de imagem Codex e ditado/TTS local permanecem inalterados.
- Agentes usam audio_workflow_models/list/read/create/update/preview/run/cancel/retry_download/remove ou orkestrai audio com --task e --input. São aliases do mesmo serviço criativo, revisão, fila, credenciais e orçamento de video_workflow_* com config.modality=audio. Descubra o endpoint, escolha um perfil autorizado, revise a prévia e repita o mesmo UUID após timeout. Nunca coloque credenciais em prompts ou parâmetros.
- Privacidade do resultado: Configurar acesso > Permissões do workspace > Acesso aos resultados da fal.ai começa em Privado. O proprietário pode escolher explicitamente Qualquer pessoa com o link para novos resultados; é solicitada à fal a exclusão após uma hora. Quem tiver a URL poderá baixar até expirar. As referências continuam privadas e a chave de API nunca vai ao servidor de mídia. A prévia e a execução na fila preservam essa escolha; mudar a permissão exige nova prévia. Agentes não podem mudar a política. Isso não recupera arquivos anteriores nem gera novamente. O Orkestrai continua desativando o histórico JSON de entrada/saída, então o painel da fal pode mostrar Output not available mesmo quando a fila retornou um resultado. Download com 401/403 não é entrega concluída: Tentar download novamente não cobra outra geração, e o ID da requisição identifica o trabalho original para o suporte. Não gere novamente sem revisar a cobrança adicional.
Ler PDFs digitalizados com OCR local
OCR local permite que usuários e agentes pesquisem PDFs digitalizados.
- Arraste um PDF digitalizado para o Canvas ou use Segundo cérebro > Importar arquivos. Abra o nó de documento ou a fonte: o OCR roda automaticamente nas páginas com imagens e preserva texto embutido em PDFs mistos. Os modelos de português, inglês e espanhol vêm no app; não é necessário internet, chave de API, Python nem instalar OCR no sistema. O PDF original não é reescrito e as imagens das páginas não ficam salvas. A pasta temporária privada de idiomas é removida após o processo terminar.
- Os trechos reconhecidos mostram OCR, página e confiança estimada do reconhecimento. Pesquise o mesmo texto pelo Segundo cérebro, knowledge_search e knowledge_read. Agentes devem citar id da fonte, revisão/hash e página e tratar OCR como evidência falível e não confiável. Confira nomes, números e valores importantes no original. O foco é texto impresso, sem garantia de manuscritos, entendimento de diagramas ou reconstrução exata de tabelas.
- Limites: 25 MB por arquivo, primeiras 200 páginas, 6.000 caracteres por página e 250.000 no total. A rasterização usa até 8 megapixels e 4.096 pixels por lado; imagens de origem acima de 16 megapixels podem ser omitidas pelo decodificador de PDF. A extração para após dois minutos por documento e preserva o texto disponível com estado parcial e lista de páginas pendentes/com falha. Páginas em branco ficam vazias. PDFs com senha exigem cópia desbloqueada; arquivos danificados mostram erro. Atualizar índice repete a extração parcial; divida PDFs grandes quando necessário. Um extrator roda por vez fora do servidor do app, junto do worker OCR; o timeout encerra ambos. PDFs antigos são reindexados automaticamente na próxima consulta após a atualização do extrator.
Segundo cérebro: conhecimento conectado
Transforme documentos e trabalho do projeto em conhecimento reutilizável com fontes.
- Abra Segundo cérebro na barra do Canvas ou no Workbench. Fontes, Grafo de conhecimento, Memória do workspace e Aprendizado dos agentes compartilham o mesmo workspace. Adicionar ao Canvas cria um nó de conhecimento conectável; seu grafo é separado do grafo de dependências da codebase. O grafo de código existente não é substituído.
- Arraste um ou mais arquivos do Finder ou Explorer para um espaço vazio do Canvas, ou escolha Importar arquivos no Segundo cérebro. Cada arquivo vira um nó de documento e uma cópia é preservada em .orkestrai/knowledge no projeto. Imagens mantêm o fluxo de imagens existente. Agentes podem anexar arquivos já no projeto com knowledge_attach ou orkestrai knowledge attach caminho. A importação não executa macros, fórmulas, scripts nem ações de documentos. O limite é 25 MB por arquivo. PDF com texto embutido, Markdown/texto, XLSX e CSV são pesquisáveis. Outros formatos são preservados, mas indicam extração indisponível; PDFs digitalizados e mistos recebem OCR embutido em português, inglês e espanhol, sem conta, upload ou instalação separada.
- A pesquisa encontra palavras normalizadas nos títulos, etiquetas e texto extraído. Os resultados incluem id da fonte, revisão, SHA-256 e localização por página, planilha/linha ou linha de texto. Abra a fonte para ler trechos, editar etiquetas separadas por vírgulas, seguir backlinks ou ir ao nó no Canvas. Remover um nó não apaga o arquivo original. A extração tem limite de 250.000 caracteres e 200 trechos, com estados explícitos de parcial, vazio, erro ou ausente; índice parcial não representa o documento inteiro.
- Notas podem apontar para títulos únicos usando [[Briefing]] ou um id exato de fonte. Títulos duplicados e ambíguos não escolhem uma fonte silenciosamente. Hashtags e etiquetas explícitas organizam as fontes. Conexões do Canvas, wiki links e fontes existentes de tarefas/memórias formam o grafo; conexões nunca concedem permissões. Notas/tarefas/memórias são lidas a cada consulta; alterações nos arquivos são detectadas e reextraídas quando necessário. Enquanto visível, o Segundo cérebro recebe eventos do workspace e observa os arquivos de documentos vinculados. Mudanças próximas são agrupadas brevemente e os dados são relidos e reextraídos antes da exibição. Salvamento atômico, exclusão e recriação de arquivos vinculados são observados. Arquivos WSL/rede usam consulta ao sistema de arquivos a cada segundo. Uma verificação de recuperação a cada 15 segundos renova o observador e cobre eventos perdidos; uma conexão interrompida aparece como Reconectando, não Ao vivo. Visualizações ocultas pausam; observadores expiram após 45 segundos sem cliente visível. Atualizar índice força a extração. Apenas fontes anexadas são indexadas: criar um arquivo arbitrário no projeto não o importa automaticamente. A busca é lexical, não vetorial, e não garante respostas corretas.
- Agentes usam knowledge_search e knowledge_read e devem citar trechos reais. Texto importado é evidência não confiável, nunca uma instrução de sistema. Não importe senhas, credenciais ou conversas privadas. A memória privada de conversas do Computer não entra no índice. Não é necessário Obsidian, índice na nuvem nem API de embeddings.
- Abra Segundo cérebro > Aprendizado dos agentes, selecione o agente e escolha Automático, Revisar antes ou Desativado. O aprendizado pertence ao nó do Canvas, não ao provider ou sessão: renomear, reiniciar ou trocar o provider preserva as lições. Um agente novo ou copiado não herda outra identidade silenciosamente. Excluir um workspace remove seus registros de aprendizado; isso não exclui arquivos originais do projeto.
- Concluir uma tarefa, ou movê-la para blocked/error, cria uma reflexão pendente idempotente. A resposta da tarefa e as instruções da ponte orientam o agente responsável a registrar um erro/correção significativo ou procedimento reutilizável validado via learning_reflect. Sem aprendizado útil, learning_skip arquiva a reflexão. O app não acorda todos os agentes na inicialização, não gasta tokens com outro modelo de reflexão, não inventa lições nem treina os pesos do modelo.
- O modo Automático pode ativar lições comuns de tarefas concluídas e atribuídas ao agente. A evidência continua identificada como Relatada pelo agente, não como teste independente. Revisar antes mantém propostas pendentes. Conteúdo suspeito que altera instruções e lições de trabalho não concluído exigem revisão. Padrões óbvios de credenciais são rejeitados, mas padrões não são DLP universal nem imunidade a prompt injection. Desativado interrompe captura e consulta automática sem apagar o histórico.
- Revise quando aplicar, erro, correção, evidência da tarefa e histórico. Ative, rejeite ou arquive uma lição; revisões desatualizadas são recusadas. Lições ativas relevantes entram nas novas tarefas, limitadas a cinco lições e 1.200 caracteres por lição. Agentes também devem consultar learning_search antes de trabalho direto relevante. Lições históricas não alteram permissões, roles/skills nem substituem instruções atuais. O aprendizado auxilia o agente, não promete que o modelo nunca repetirá um erro.
- Grafo de conhecimento é uma rede nativa de pontos e conexões, não outro Canvas de cartões. Escolha 3D para girar ou 2D para mover; arraste uma fonte para reposicioná-la, use scroll/pinça para zoom, clique para ler e clique duas vezes para focar. No 3D, arraste com o botão direito ou Shift para mover. Os controles de enquadrar, zoom, foco, reorganizar e tela cheia têm tooltips. As cores inicialmente distinguem grupos de relações calculados por Louvain; a legenda usa o nome da fonte mais conectada de cada grupo e foca nela ao clicar. O controle de paleta alterna para cores por tipo de fonte e filtros de visibilidade. Grupos auxiliam a navegação, não criam fatos nem conexões. Hover mostra título completo e trecho; vizinhos da seleção ficam destacados. Posições existentes, câmera e seleção são preservadas nas atualizações ao vivo. Reorganizar calcula explicitamente um novo layout por forças. O cálculo roda em worker; a GPU desenha apenas após mudanças e pausa fora de tela. Sem conexões inventadas nem animação contínua em segundo plano. Use Fontes se WebGL estiver indisponível.
Escolher o provedor de vídeo sem mudar o fluxo de imagens
Use fal.ai, BytePlus ModelArk ou Higgsfield com contas, contratos e orçamentos separados.
- Abra Imagens > Fluxo de vídeo no Canvas ou Workbench. Rascunhos existentes continuam na fal.ai. Crie imagens de referência e storyboards pelo fluxo existente da assinatura Codex; esta funcionalidade não transfere a geração de imagens para outro provedor.
- No nó de vídeo, abra Configurar acesso > Nova conta. Escolha o provedor antes de inserir a credencial: chave fal, chave de API BytePlus ModelArk ou KEY_ID:KEY_SECRET da Higgsfield. Salve no cofre criptografado do aplicativo. Depois habilite este workspace, mídia externa, modelos permitidos, reservas por execução/dia em USD e acesso opcional dos agentes. Assinatura do site não implica créditos de API nem acesso ao modelo. Uma conta existente não muda de provedor; crie outra conta.
- Selecione Provedor de vídeo, Modelo e uma Conta correspondente no nó. A fal.ai mantém o catálogo online; BytePlus e Higgsfield usam contratos revisados e versionados. Nomes iguais não implicam resoluções, durações, áudio ou referências iguais: o H3 da Higgsfield expõe 2K, não a opção 768p da fal. Trocar de provedor redefine parâmetros incompatíveis e a conta após confirmação, mas preserva referências obrigatórias e personagens aprovados para remapeamento. Confira todas as entradas, falas e opções de áudio. Salve antes de estimar.
- Valores da lista de modelos são identificados como estimativas públicas quando aplicável, com a data de verificação. Não presumem promoções e não são cotações finais. Estimar na Higgsfield envia as referências locais autorizadas e consulta o valor da entrada exata para aquela conta; não gera vídeo. BytePlus estima tarifas por tokens, duração e resolução, considerando conservadoramente a duração desconhecida de vídeos de entrada e reserva de 4x. A fal mantém seu estimador atual. Nenhuma estimativa ou reserva local garante o valor final da cobrança do provedor. Gere explicitamente somente após revisar dados enviados, custo e permissões.
- Cada execução congela provedor, conta e contrato. Recarregar retoma o mesmo trabalho remoto, nunca troca o modelo silenciosamente nem repete um envio pago incerto. Repetir download não gera novamente. BytePlus aceita imagens/áudios locais, mas neste adaptador exige URLs HTTPS públicas para vídeos de entrada; o Orkestrai não os publica em outro serviço automaticamente. O adaptador oferece geração por referências, não edição/extensão direta. Depois do envio, cancelar na BytePlus fica desabilitado porque o endpoint de exclusão pode apagar resultados concluídos; itens ainda na fila local podem ser cancelados. Higgsfield oferece os endpoints revisados de texto/imagem/referência/edição/extensão onde listados. Revise imagem e som antes de aprovar.
- Agentes consultam video_workflow_models com input.provider e depois input.endpoint exato; definem config.provider e profileId correspondente ao criar/editar. Continuam sujeitos à tarefa atribuída, permissões do proprietário, prévia/revisão e idempotência. Novos provedores não autorizam gastos nem concedem credenciais automaticamente. Trocar provedor/modelo exige acordo do proprietário; referências de voz e personagem não garantem consistência generativa perfeita.
- Referências do vídeo mostra nomes e prévias tanto de mídias do canvas quanto de arquivos do projeto sem nó próprio. Escolha a função (primeiro quadro, último quadro, imagem de referência, vídeo ou áudio) e selecione uma mídia do canvas ou use Escolher do projeto para navegar nas pastas. Ver referência abre uma prévia maior sem sair do fluxo. Os números começam em 1 e representam posições da entrada do modelo, não nomes de arquivo. Detalhes técnicos reúne o mapeamento exato da API e o caminho relativo editável. Visualizar um arquivo não cria um nó nem reescreve o vínculo do agente. Agentes usam os mesmos vínculos; o app não adivinha referências ausentes nem inicia geração paga automaticamente. O adaptador envia ou codifica as entradas na etapa de cotação/geração informada.
Montar e exportar uma sequência de vídeo
Ordene, corte e legende vídeos existentes sem alterar os arquivos originais.
- Abra Imagens > Sequência de vídeo no Canvas ou Workbench. Adicione nós de Vídeo do workspace (MP4, WebM ou MKV). Instale o codificador uma vez pelo nó: o proprietário confirma um download separado e versionado do FFmpeg, verificado por SHA-256. Não exige Homebrew, chave de API nem geração paga.
- Selecione um clipe na lista vertical. Mova para cima/baixo, ajuste entrada/saída, nível do áudio e legenda, depois Salvar. Remover só retira o clipe da sequência. O hash da origem fica fixo; arquivo alterado ou ausente bloqueia a exportação. Escolha saída horizontal, vertical ou quadrada e 24/25/30 fps. O ajuste preserva todo o conteúdo com barras pretas, sem cortar ou esticar. As legendas são gravadas dentro de margens seguras de 10%.
- Reproduzir sequência mostra os cortes em ordem. Exportar MP4 cria um H.264/AAC em generated/videos/sequences e um nó de Vídeo conectado. Confira imagem e som. A exportação guarda sua revisão e indica quando ficou anterior às edições. Exportando não significa entregue; falhas e interrupções ficam visíveis. Cancelar interrompe o codificador sem alterar origens. Temporários próprios são removidos após sucesso/falha/cancelamento; diretórios abandonados são removidos antes da próxima exportação. Use Tela cheia na prévia para conferir clipes verticais e legendas em tamanho legível e voltar ao mesmo editor.
- Agentes usam video_workflow_sequences ou orkestrai video sequences com tarefa atribuída. Leia a revisão antes de apply/export; repita pedidos com timeout usando a mesma UUID idempotencyKey. Instalar o runtime é exclusivo do proprietário. Limites: 30 clipes, 10 minutos, dimensões pares de 240 a 1920 por lado, uma exportação por vez, ao menos 3 GB livres e saída limitada. Transfira a sequência com todos os nós de Vídeo de origem. Imagens Codex ImageGen e geração fal continuam separadas; isto monta vídeos entregues, não é outro modelo generativo.
Reutilizar fluxos criativos e acompanhar a fila
Salve roteiros versionados com entradas nomeadas e recrie storyboards editáveis sem copiar autorizações de execução.
- Abra Imagens > Fluxos criativos no Canvas ou Workbench, ou Salvar fluxo no cabeçalho de um Storyboard. Salvar fluxo captura a revisão salva atual, a ordem das cenas, direção, diálogos, duração e enquadramento. Dê um nome e, opcionalmente, selecione um fluxo existente para criar uma nova versão imutável. Edições de cena não salvas não entram na captura. O comando video_workflow_recipes também aceita um grupo com exatamente um storyboard: captura esse quadro, não notas, agentes ou automações independentes. Arquivos, histórico de execução, sessões, credenciais e autorizações de gasto não são salvos no modelo.
- Na Biblioteca, escolha uma versão, preencha o briefing/roteiro, a proporção de saída e, opcionalmente, o agente Codex de imagens. Vincule cada entrada nomeada de produto/referência a uma imagem ou vídeo do workspace atual e cada personagem a uma versão local aprovada. Identidades correspondentes podem ser pré-selecionadas pela família, versão e hash exatos. Somente o proprietário pode escolher deliberadamente outro personagem aprovado; agentes devem preservar a identidade salva. Importe o personagem pela biblioteca primeiro, se necessário. O proprietário pode reutilizar fluxos de outro workspace; agentes não podem explorar ou ler outros workspaces.
- Criar storyboard editável adiciona conteúdo nativo comum, com novos IDs de cena e sem vínculos a execuções antigas. O roteiro substitui o texto literal {{script}} uma única vez, sem avaliação recursiva; se a direção não tem esse marcador, o briefing é acrescentado. Roteiro obrigatório vazio ou entrada ausente bloqueia a criação. Abra o storyboard, confira cada cena e prepare os rascunhos de imagem/vídeo separadamente. As dimensões de imagem passam pelo fluxo Codex existente; duração e proporção de vídeo precisam ser declaradas pelo endpoint escolhido ou a preparação é interrompida. Geração, validação de alpha, estimativas, orçamento e gates existentes continuam válidos.
- A Fila de geração atualiza os estados reais de imagem/vídeo do workspace enquanto estiver aberta. Mostra rascunhos, falhas, posição no provedor, reserva em USD e links dos resultados, sem inventar porcentagens. Abrir fluxo dá acesso aos controles normais de estimativa, permissão, revisão e geração. Cancelar usa o executor existente; Repetir download apenas recupera um resultado remoto já criado. Envios pagos incertos não têm repetição automática. Alguns resultados concluídos não significam que o storyboard inteiro terminou. Excluir uma versão salva não exclui storyboards criados nem arquivos de saída.
Planejar cenas em um storyboard nativo
Cenas ordenadas, identidades aprovadas e rascunhos de imagem/vídeo conectados no Canvas e Workbench.
- Abra Imagens > Storyboard no Canvas ou Workbench. Adicione uma cena e defina título, direção, diálogo, idioma e duração desejada. Selecione a versão exata do personagem aprovado e as imagens/clipes de referência locais; escolha um executor Codex para gerar imagens. Salve antes de trocar de cena. Duplicar inicia um novo rascunho sem reutilizar vínculos de execução. Arraste as cenas para ordenar ou use Mover para cima/baixo. Remover uma cena preserva seus fluxos e arquivos entregues.
- Preparar rascunho de imagem cria um fluxo Codex existente conectado, sem executá-lo. São aceitas até cinco referências, incluindo todas as imagens mestras dos personagens selecionados; referências em excesso geram erro explícito, sem descarte silencioso. Abra o rascunho e use seus controles normais de geração. Preparar rascunho de vídeo cria um fluxo fal nativo sem cobrança. Escolha um endpoint permitido, vincule todos os personagens e referências obrigatórios, confira as capacidades reais de duração/áudio do modelo e use Salvar > Estimar > Gerar. Durações não suportadas são rejeitadas, nunca encurtadas silenciosamente. Preparar a mesma cena sem alterações reutiliza o rascunho vinculado. Para escolher outro rascunho explicitamente, desvincule e prepare novamente.
- Alterar uma cena marca seus rascunhos como desatualizados; os resultados permanecem intactos. Edições manuais e video_workflow_storyboards usam o mesmo documento com revisão. Gravações concorrentes falham com conflito; suas edições locais ficam visíveis até você descartar e recarregar. Storyboards copiados mantêm IDs de referências/personagens ausentes para correção local explícita; nunca herdam permissões de contas. Revise imagem e som reais antes de aprovar. Uma referência de voz aprovada não garante que todos os modelos consigam reproduzi-la.
Compare e aprove variantes criativas
Abra Comparar e revisar no cabeçalho de um nó Imagem ou Vídeo ou em um Storyboard. Mesmo fluxo limita as miniaturas às saídas relacionadas; desative para comparar outros arquivos locais. Escolha A e B nos seletores com pesquisa ou clique em uma miniatura para B. Abrir resultado localiza o nó original no Canvas. Pares de vídeos compartilham reprodução, pausa e avanço até a menor duração comum; alterne o áudio entre A e B. Um vídeo sozinho usa controles nativos. Imagens são exibidas sem cortes. Arquivos ausentes ou que não podem ser reproduzidos não podem ser aprovados. Compare rosto, roupa, enquadramento, idioma e voz real com as referências aprovadas; geração concluída não garante consistência. Escreva o feedback e escolha Aprovar, Solicitar alterações ou Rejeitar. O histórico preserva cada decisão, autoria, horário, comentário e hash do arquivo. A aprovação vincula os bytes exatos, a origem da geração e as versões congeladas de personagens disponíveis. Alterar o arquivo invalida a decisão; revisões concorrentes exigem recarregamento. Agentes usam video_workflow_assets list/inspect/decide e só podem propor uma decisão, nunca aprovar a própria saída. Essas ações não chamam fal ou ImageGen nem gastam créditos.
- Abra as variantes
- Compare imagem e áudio
- Registre a revisão
Crie uma nova direção a partir de uma imagem
Abra Ações criativas no cabeçalho de um nó Imagem. Escolha Variação, Remover fundo, Alterar região ou Animar. O original nunca é sobrescrito. Cada ação congela os bytes exatos em generated/creative-actions e conecta uma imagem de referência e um novo fluxo nativo. A origem salva inclui nó original, hash e contexto da geração. Variação e Alterar região aceitam direção e 1–10 resultados. Escolha um agente Codex ou atribua-o no fluxo criado. Para Alterar região, arraste um retângulo na imagem real ou ajuste X, Y, largura e altura nos controles acessíveis por teclado. O servidor confere as dimensões originais. Esse retângulo orienta o prompt; não é uma máscara rígida nem uma promessa de preservar cada pixel externo. Preparar rascunho não gera nem cobra. Abra o fluxo de imagem e use a assinatura Codex existente; remover fundo exige transparência RGBA real e mantém a validação e reparação existentes, sem editar pixels localmente. Animar cria um rascunho de vídeo: escolha qualquer modelo permitido compatível, associe a imagem congelada e todos os personagens obrigatórios, salve, estime e execute explicitamente. Referência congelada ausente ou alterada bloqueia o uso. Cancelar antes de preparar não cria nada; remover um rascunho nunca apaga o original. Agentes usam video_workflow_assets command=prepare com expectedDigest conferido e edit.operation; as duas interfaces usam a mesma validação.
- Escolha a ação da imagem
- Defina direção ou região
- Confira o rascunho conectado
Reutilize um kit de marca aprovado
Versione paletas, logotipos, produtos e regras criativas e coloque os materiais exatos em qualquer workspace.
- Abra Imagens > Kits de marca no Canvas ou Workbench. Em Este workspace, dê um nome ao kit, escolha cores e valores hexadecimais, adicione imagens nomeadas de logotipo/produto/estilo e escreva briefing, tom de comunicação e regras de uso. Os materiais devem ser arquivos locais PNG, JPEG ou WebP; exporte logotipos vetoriais pelas ferramentas de Design antes. Salve o rascunho antes de aprovar.
- Revise os arquivos reais e use Aprovar e fixar kit. A aprovação congela cópias em generated/brands com hashes SHA-256. Versões aprovadas não podem ser editadas ou excluídas como rascunhos; crie uma nova versão para alterar. Revisões concorrentes ou arquivos alterados interrompem a operação, sem sobrescrever outra edição. Paleta e regras também podem formar um kit sem imagens.
- Use Biblioteca aprovada > Adicionar kit ao Canvas em qualquer workspace. A versão exata vira um grupo nativo, uma nota de regras e nós de imagem conectados. As cópias independem do projeto original; contas, tokens e autorizações de geração não são transferidos. Conecte a nota e as imagens relevantes aos fluxos existentes de imagem Codex ou vídeo fal, respeitando o limite de referências do modelo. Agentes usam video_workflow_brands para criar/ler/derivar/colocar kits locais; só o usuário aprova ou importa entre workspaces. Os materiais não garantem uma saída generativa idêntica pixel a pixel: revise o resultado.
Dirigir enquadramento e movimento de câmera
Salve a direção de cada cena sem perder referências ou vínculos de voz.
- Abra uma cena do Storyboard ou um Fluxo de vídeo e use Direção de câmera. Escolha enquadramento, ângulo, movimento e ritmo. Os controles persistem na cena e no rascunho de vídeo preparado; rascunhos de imagem recebem enquadramento e ângulo, sem movimento de câmera.
- Estes controles expressam intenção criativa no prompt, não uma trajetória garantida. Primeiro e último quadro e outros campos de mídia dependem do contrato declarado pelo endpoint. A duração da cena precisa corresponder exatamente a uma duração suportada; valores incompatíveis ou ambíguos interrompem a preparação, sem encurtar o clipe silenciosamente.
- Ao trocar de modelo, a direção, os vínculos de personagem e voz, as referências de arquivo e os parâmetros são preservados. Adaptadores incompatíveis recusam a troca; endpoints genéricos exigem corrigir mapeamentos incompatíveis antes da estimativa. Quadros obrigatórios continuam obrigatórios até serem revinculados explicitamente. Agentes usam o mesmo objeto shot nas operações de cena de video_workflow_storyboards e na configuração do vídeo.
Fluxos de vídeo com fal.ai
No Canvas, abra o menu de Imagem e escolha Adicionar fluxo de vídeo. O mesmo nó abre no Workbench. A geração de imagens via assinatura Codex continua inalterada e não exige chave de API. Vídeo é uma integração paga e opcional com a fal.ai: abra Configurar acesso no nó, salve a chave da conta no cofre do app, ative a conta e este workspace, autorize o envio externo de prompts/imagens, selecione modelos e configure limites de reserva em USD e concorrência. Agentes também precisam da permissão do workspace, de um terminal ativo autenticado e de uma tarefa atribuída.
- Storyboard para vídeo: o Codex escreve ordem das cenas, prompts, falas, idioma e direção sonora em Notas. Os fluxos Codex/GPT Image existentes criam todos os personagens, storyboards e referências visuais. Somente arquivos aprovados são enviados à fal para gerar vídeo; a fal não cria essas imagens. Habilite áudio nativo apenas em modelos cujo contrato ofereça esse recurso. Seedance 2.5 reference-to-video aceita imagens, referências de áudio e generate_audio; a fala nativa não é uma voz TTS do Orkestrai, e o comportamento exato depende do modelo.
- A Biblioteca de personagens guarda rascunhos e versões bloqueadas pelo usuário: aparência, 1–12 imagens-mestras e um áudio aprovado ou ID de voz existente, restrito à conta e endpoints compatíveis, além de idioma e estilo. A aprovação copia os arquivos locais para generated/characters, registra hashes SHA-256 e torna a versão imutável. Mudanças criam um novo rascunho, sem reescrever cenas existentes. Agentes podem propor e ler versões, mas não aprovar, excluir versões bloqueadas ou trocar silenciosamente o personagem de uma cena.
- Vincule uma versão aprovada exata a cada cena e mapeie suas imagens e voz nos campos suportados. O servidor injeta referências congeladas e rejeita arquivos ausentes/alterados, vínculos conflitantes, conta/modelo incompatível ou áudio nativo desativado antes de gerar. Uma cena transferida mantém IDs de personagens não resolvidos e não executa em outro workspace até o usuário vincular identidades locais aprovadas. Snapshots preservam versões e hashes. Fixar entradas não garante consistência generativa de 100%: imagem, fala e sincronização labial ainda exigem revisão humana. Não há cadastro automático de vozes nem pontuação de consistência. Monte os clipes entregues no nó nativo Sequência de vídeo.
- Abra o menu Imagens, escolha Personagens e arraste um personagem aprovado para uma área vazia do Canvas de destino ou use Adicionar ao Canvas. A biblioteca é compartilhada entre workspaces locais. O Orkestrai copia todas as imagens bloqueadas e o áudio de voz, preservando versão e hash, e cria uma Nota de identidade e Imagens de referência agrupadas, sem alterar a origem. IDs de voz do provider mantêm o vínculo com a conta original, mas credenciais e permissões do workspace nunca são copiadas. O Workbench oferece a mesma biblioteca e o comando Adicionar ao Canvas. Agentes podem adicionar personagens locais aprovados; importar de outro workspace exige o usuário.
- Escolha o personagem aprovado pelo nome: a cena mostra imagens-mestras e amostra de voz e associa todas as referências às entradas convencionais declaradas pelo modelo. Nenhuma referência é descartada para caber. O mapeamento avançado continua disponível para contratos diferentes. Digite @ em Direção ou use Inserir referência de personagem para inserir um nome salvo no formato @{nome}; ele permanece vinculado ao ID exato da versão. Remover um personagem citado ou usar um nome desconhecido bloqueia a geração em vez de mudar o sujeito silenciosamente. Os agentes podem solicitar a mesma associação conservadora com video_workflow_characters command=binding e a configuração atual.
- Pesquise o catálogo completo de vídeos publicado pela fal.ai, incluindo Seedance 2.5 e endpoints de texto, imagem, referências, áudio e vídeo. O Orkestrai lê o contrato OpenAPI oficial do endpoint escolhido, preserva tipos, opções e parâmetros aninhados e fixa esse contrato em cada execução. Aparecer no catálogo não garante acesso pela conta. Endpoints descontinuados e contratos inválidos não podem gerar.
- Nos modelos do catálogo, use Mídias do workspace para vincular um nó de Imagem/Vídeo ou um arquivo de imagem, vídeo ou áudio relativo ao workspace a um campo como /image_urls/0 ou /elements/0/frontal_image_url. Os vínculos são ordenados, têm hash e são conferidos antes do envio; os bytes não ficam no JSON do fluxo. Parâmetros aninhados têm editor JSON e referência do contrato. São aceitos até 50 vínculos, 10 MB por imagem, 64 MB por áudio/vídeo e 100 MB no total; o provedor pode impor limites menores. Ao copiar entre workspaces, os vínculos dos nós selecionados são remapeados e os vínculos somente por arquivo são removidos.
- As unidades de cobrança normalmente seguem a duração ou uma saída. Em endpoints cobrados por tokens, quadros, computação ou duração automática, pode ser necessário informar a quantidade estimada de unidades. Confira os preços do endpoint selecionado e configure limites na conta. A reserva local não é um teto de cobrança imposto ao provedor.
- O Wan 2.7 gera vídeo a partir de texto, com 2–15 segundos, 720p/1080p e proporções enumeradas. O Kling 3 Pro anima uma Imagem escolhida como primeiro quadro, com quadro final opcional, por 3–15 segundos. As referências do Kling devem ser PNG/JPEG/WebP, mínimo de 300 px por lado, até 10 MB e proporção entre 0,4 e 2,5. Só aparecem controles suportados. A fala do Kling suporta inglês e chinês; o Wan pode criar áudio de fundo automaticamente.
- Selecione Notas de contexto explicitamente; seu texto passa a integrar o prompt enviado. Escolha imagens inicial/final pela identidade do nó. Arestas comuns de colaboração não executam outros ramos. Salve, estime o custo, confira a estimativa base e a reserva e gere. A reserva local é quatro vezes a estimativa por unidade como margem, não um teto garantido da fatura do provider. Configure limites também na conta fal.ai. Gates de Segurança do workspace podem exigir aprovação para operações pagas.
- As execuções são persistidas antes do envio. Após reiniciar, o Orkestrai consulta o job remoto salvo em vez de gerar novamente. Se a resposta do próprio envio pago se perder, a execução fica não confirmada e não é repetida automaticamente. Confira a fila/conta fal.ai antes de outra ação. Cancelamento solicitado não significa cancelamento confirmado nem reembolso; o resultado pode terminar antes.
- Cada saída declarada de vídeo/áudio é baixada sem alteração para a pasta escolhida do workspace, com limites de tamanho e SHA-256, e aparece como um nó reutilizável separado. MP4, WebM, MOV, MKV, GIF e contêineres de áudio compatíveis preservam o formato original; a reprodução depende dos codecs do navegador instalado, e o download continua disponível. Repetir um download nunca gera novamente. Não há corte, esticamento ou recodificação. Excluir nós preserva os arquivos entregues. Execuções pagas ativas bloqueiam transferência e exclusão.
- As chaves ficam no cofre seguro do desktop. Nenhuma chave de conta ou link assinado gerado de mídia entra nos payloads dos nós ou nas respostas aos agentes. Arquivos locais só são enviados após o gate de execução do workspace, solicitando ACL privada e expiração de 24 horas; links temporários de leitura são enviados apenas ao endpoint escolhido. O armazenamento do JSON da requisição na fal fica desabilitado. Saídas compatíveis solicitam vida útil de uma hora e ACL privada. Isso não garante a retenção nos provedores upstream. Envie somente material que possa compartilhar e preserve os arquivos já baixados.
- Agentes usam video_workflow_models/list/read/create/update/preview/run/cancel/retry_download/remove ou orkestrai video. List expõe perfis permitidos e capacidades, nunca credenciais. Use a revisão e o ID de preview retornados com uma chave UUID de idempotência estável. Uma execução na fila não é um vídeo entregue. Não use HTTP direto para contornar políticas. Integração direta Runway e JSON ComfyUI arbitrário não são suportados. Fluxos criativos reutilizam storyboards nativos, e Sequência de vídeo monta os clipes entregues localmente.
- O seletor inclui o catálogo público, não uma garantia de que todo endpoint listado possa ser usado. Algumas entradas não publicam contrato OpenAPI de fila, usam streaming em tempo real, estão descontinuadas ou retornam 404. Elas não executam pelo adaptador de fila; os erros de contrato aparecem antes de uma submissão paga. O catálogo incluído no app é atualizado pela fal, e cada modelo escolhido usa seu contrato atual validado.
- Uma execução aceita até 10 saídas de vídeo/áudio. Cada arquivo é baixado sem redimensionar ou transcodificar e confere novamente exclusões de pasta, tamanho e autorizações de rede antes de publicar. Se uma aprovação estiver pendente ou o acesso tiver sido revogado, a geração paga é preservada e Repetir download recupera o resultado sem gerar novamente. Referências FLAC são aceitas junto de WAV, MP3, Ogg e M4A.
- Selecionar um modelo carrega seu contrato oficial de fila. Os campos incluem descrições do provedor, exemplos sugeridos e padrões visíveis. Exemplos são sugestões, não uma lista fechada de valores válidos. Objetos e listas têm controles aninhados; JSON continua disponível para contratos avançados ou ambíguos. A reescrita do prompt aparece nas opções principais com aviso: altera a direção, não a velocidade de renderização. Rascunhos legados oferecem Editar todos os parâmetros do modelo para conversão explícita ao endpoint completo, preservando direção e referências. Parâmetros incompatíveis com um novo modelo ficam visíveis para remoção ou remapeamento, nunca são descartados silenciosamente.
- Selecione uma conta configurada para comparar tarifas-base e unidades de cobrança no seletor de modelos. Só os modelos exibidos são consultados, com cache de até cinco minutos separado por conta; preços ausentes aparecem como indisponíveis, nunca zero. Não são valores finais específicos da configuração: resolução, áudio e outros multiplicadores podem alterar a cobrança. Estimar custo continua validando rascunho, referências e orçamento antes de gerar. A consulta não envia jobs nem reserva dinheiro. Agentes usam video_workflow_models com endpoint para o mesmo schema documentado, ou pricingIds (até 50) e profileId para tarifas permitidas da conta; nunca recebem a credencial.
Abra a pasta da entrega
Peça ao agente para abrir generated/images/xyz-carousel. Ele usa fs_open_folder, ou orkestrai fs open-folder "generated/images/xyz-carousel", para abrir a pasta existente no Finder, Explorer ou gerenciador de arquivos Linux da máquina host. Não exige Computer Control, Acessibilidade nem Gravação de Tela. Aceita pastas de @alias registrados; não aceita arquivos, URLs, bundles executáveis, saídas do diretório permitido nem novas permissões. Restrições explícitas de arquivos e parada de emergência continuam valendo. A operação é auditada e confirma que o sistema operacional aceitou a solicitação, sem afirmar inspeção visual. Se a sessão do agente for anterior à tool MCP, ele pode usar a CLI.
Respostas automáticas para uma conversa autorizada
Habilite Segurança Delimitada com as capacidades computer e agent. No nó Computador existente, abra Respostas em conversas e leia a janela nativa autorizada. Selecione uma tarefa ativa atribuída, o CABEÇALHO real da conversa (nunca o contato na lista lateral), o campo de mensagem e Enviar. Selecione o prefixo de mensagem recebida exatamente como aparece na acessibilidade nativa, incluindo o remetente; o rótulo deve distinguir recebidas de suas próprias mensagens e idealmente incluir o horário. Defina limites de tamanho e quantidade por hora. Só o usuário cria, habilita ou revoga a autorização; ela não libera publicações no app inteiro. Crie uma automação Manual habilitada de tipo prompt_agent para o mesmo agente. Automações manuais continuam habilitadas entre eventos; não adicione consultas agendadas. Na observação, selecione a janela nativa exata, tarefa e autorização da conversa, use Automático e ative Monitorar. Mudar o foco para outro app não pausa mais a observação nativa. A leitura continua vinculada ao processo e à janela autorizados; trocar a conversa selecionada, fechar a janela ou revogar o acesso ainda impede o processamento. Observar não traz a janela para a frente, não clica e não digita. A acessibilidade nativa precisa expor mensagens completas e sem ambiguidade; isso não importa por API todo o histórico do aplicativo. Apps sem suporte/Linux não passam silenciosamente para envio automático por coordenadas. A primeira observação estabelece uma referência. As novas mensagens recebidas e observadas entram numa fila local persistente, inclusive enquanto o agente está ocupado. O intervalo curto configurado agrupa perguntas consecutivas. O evento informa grantId, batchId, inReplyToDigest e TODAS as mensagens do lote. O agente lê em ordem, separa assuntos e responde a cada pergunta usando computer_reply com esses campos, targetId, taskId, idempotencyKey e a resposta completa. Pedidos pendentes ficam na tarefa/notas existentes; aceitar um pedido não significa concluí-lo. A mesma sessão do agente mantém o contexto da conversa. Cada lote comporta até 20 mensagens e 60.000 caracteres; o excedente continua pendente, sem corte silencioso. A fila admite 128 mensagens não resolvidas e bloqueia com erro se encher. O Orkestrai valida a mensagem nativa recebida antes de digitar. Durante a composição e o envio, destinatário autorizado, permissão, foco e rascunho completo continuam protegidos; a mensagem original não precisa permanecer visível nem manter o mesmo índice no histórico. Mensagens novas continuam pendentes enquanto um lote já recebido é respondido. Rascunhos humanos, destinatário alterado, autorização revogada ou entrada ambígua interrompem a operação. No macOS, a digitação nativa direcionada ao processo atualiza o campo real; editores multilinha usam Shift+Return para as quebras, nunca uma quebra sem modificador. Processo, janela e limites continuam verificados durante a entrada. Um comando bem-sucedido confirma a submissão nativa do lote, não entrega/leitura. Falha parcial ou incerta fica bloqueada para inspeção; não repita nem afirme que nada foi enviado sem conferir. O painel mostra mensagens pendentes, estado do observador e tempo local medido separadamente do tempo de geração do provider. O texto da fila é salvo no banco local do app, fora do repositório do workspace: mensagens não resolvidas permanecem até serem tratadas; até 64 mensagens submetidas ficam como contexto por no máximo 14 dias enquanto o monitoramento roda. Até 4.096 hashes recentes evitam observações duplicadas. A auditoria guarda contagens/hashes, não texto da conversa; transcripts dos providers têm retenção própria. Reiniciar recupera mensagens já observadas e enfileiradas, mas não garante recuperar o que a interface nativa nunca expôs. Respostas de texto não autorizam anexos, acesso a arquivos ou geração a pedido do contato; a entrega de imagens geradas exige integração própria autorizada pelo dono. Builds locais continuam ad-hoc; permissões do sistema pertencem ao usuário e nunca são contornadas.
Um assistente que lembra e agenda trabalho
Comece com uma tarefa ativa atribuída ao agente do Canvas e a autorização existente da conversa no Computer. Peça ajuda em linguagem natural; computer_capabilities informa recursos, configuração e permissões sem ler credenciais. As instruções conectam tarefas, notas, ferramentas publicadas do Laboratório, integrações, fluxos nativos de imagem, TTS e PDF. O agente deve consultar ferramentas existentes antes de propor outra e só pode publicar automaticamente dentro da política já autorizada do Laboratório. Exemplo: "Toda segunda-feira às 14:00, America/Sao_Paulo, prepare meu relatório semanal e envie o resumo para esta conversa autorizada." O agente cria uma rotina prompt_agent existente por automation_save e retorna o id e a próxima ocorrência. Em Automações, Agendamento oferece intervalo ou Calendário com execução única/diária/semanal/mensal, hora local, fuso IANA, dias/data e política de atraso. Ignorar admite 60 segundos; Última permite uma ocorrência recente dentro do atraso configurado, sem uma enxurrada de lembretes perdidos. Horários inexistentes no horário de verão são ignorados; horários repetidos executam uma vez; um dia mensal inexistente é ignorado. O computador deve estar acordado, o workspace carregado e a autorização ativa. Consulte, edite, pause ou cancele na mesma interface de Automações; agentes só editam rotinas próprias vinculadas à tarefa e com revisão atual. Em Computer > Respostas na conversa, habilite explicitamente Memória privada da conversa. Somente mensagens recebidas observadas após a linha de base e envios nativos bem-sucedidos entram neste diário local separado. Não é memória compartilhada do projeto nem importação de todo o histórico do aplicativo. A retenção vai de 30 a 3650 dias, também limitada a 5000 mensagens/16 MiB por conversa. Até 256 fatos com fontes preservam os trechos citados até serem removidos; o agente pesquisa detalhes antigos sob demanda, sem colocar todo o diário em cada prompt. Histórico permite ao dono pesquisar, revisar fatos e apagar um fato ou toda a memória local. A exclusão não apaga transcrições do provider nem o chat externo. Desabilitar pausa novas gravações; remover a autorização exclui seus registros privados. Pedidos longos continuam rastreáveis após a confirmação de recebimento. Habilite lembretes agendados e resultados de tarefas para aquele contato exato para permitir computer_send sem exigir uma nova mensagem recebida. Ele exige uma tarefa atribuída ou execução de automação como origem, deduplica essa origem após reinícios e usa as mesmas verificações de foco, destinatário, rascunho vazio, limite por hora e risco. Alterar a permissão entre digitar e enviar interrompe a publicação. Mensagens recebidas nunca autorizam novos contatos, aplicativos, arquivos ou compras. Despachar uma rotina e esvaziar o campo de texto não comprovam a entrega do relatório. artifact_speech reutiliza o TTS configurado para criar WAV no workspace; artifact_report cria PDF; artifact_inspect verifica caminho, formato, tamanho e SHA-256. Imagens nativas mantêm o fluxo Codex existente, sem nova chave de API. Em Computer > Respostas na conversa > Anexos nativos, o dono autoriza o seletor, item de menu opcional, Enviar da prévia, formatos e tamanho para aquele contato. computer_media_send usa o digest recebido ou uma tarefa/execução autorizada, cópia privada imutável e verificações do destinatário exato e nome do arquivo na prévia. Mudar a chave não repete um envio incerto. O original fica intacto; cópias temporárias são limitadas a 100 MiB e expiram após 15 minutos. Receber exige autorização separada: selecione o controle Baixar da mensagem e prefixos opcionais de mídia recebida. computer_media_receive salva em um NOVO caminho autorizado do workspace, valida formato/hash e nunca executa conteúdo recebido nem sobrescreve arquivos. O controle Baixar deve pertencer exclusivamente àquela mensagem. O seletor nativo atualmente atende diálogos padrão anexados à janela no macOS; diálogos personalizados e outros backends não são declarados validados. Upload/download do Portal continua separado, com as permissões existentes do navegador. WAV do TTS é anexo de áudio, não gravação nativa de mensagem de voz. artifact_transcribe usa o STT existente para WAV PCM16; o app instalado também decodifica Ogg/Opus, MP3 e M4A pelo Chromium, limitado a 10 MiB e 10 minutos, sem Python, envio externo, acesso ao microfone ou outra janela. O suporte ao codec é verificado na execução. Preparado, submetido, recebido e entregue são estados diferentes; importar um arquivo não significa compreender seu conteúdo. A composição interrompida tem uma tentativa limitada de recuperação somente antes de Enviar e para um prefixo exato da resposta autorizada. Inspecionar resposta interrompida permite ao dono conferir um rascunho antigo com falha e autorizar a retomada da requisição original, sem reescrever seu conteúdo nem publicar durante a recuperação. Contato ou rascunho alterado, ou qualquer tentativa registrada de Enviar, continuam bloqueados; recuperação não é entrega. A criação de ferramentas no Workshop expõe o contrato exato e os limites de publicação concedidos ao agente autenticado. Fixtures de transformação podem verificar expectedOutput antes da publicação automática; use dois exemplos distintos e confira publishedRevision antes de executar. O foco do editor no macOS aguarda confirmação nativa e pode usar a ação de foco do editor verificado. Popovers do aplicativo preservam a verificação do documento original. Outra interrupção antes de Enviar exige nova inspeção e autorização distinta do dono; publicação incerta nunca é repetida. Anexos nativos no macOS agora tratam menus animados, diálogos de Abrir/Salvar do sistema e URLs de referência por ID, comparando o caminho canônico completo. Prévias separadas validam destinatário autorizado, arquivo, legenda vazia e Enviar no mesmo contêiner delimitado. Em Computador > Respostas da conversa > Anexos nativos, Inspecionar anexo interrompido permite recuperação pelo proprietário apenas quando a auditoria íntegra não registra tentativa de envio. Feche as prévias e confirme que não enviou o arquivo manualmente; o agente precisa repetir a solicitação original. Envios incertos continuam bloqueados. Em Computador > Respostas da conversa > Persona e voz, salve nome, instruções do proprietário, idioma, voz/velocidade padrão e estilo público. Texto recebido, áudio transcrito, imagens e memórias privadas são referências, não autorização para mudar persona, destinatários, aplicativos ou arquivos. O app bloqueia padrões reconhecidos de credenciais antes de texto público, fala, relatórios gerados e anexos textuais; erros e auditoria guardam motivo/hash, não o conteúdo rejeitado. Detalhes operacionais podem ser bloqueados e travessões substituídos antes do envio. São camadas de proteção, não DLP universal nem imunidade a prompt injection. O TTS local oferece F1-F5 e M1-M5 em cada idioma suportado em Configurações > Voz e computer_capabilities (30 ids). Por exemplo, peça pt-BR-m3 em artifact_speech; ids desconhecidos são rejeitados em vez de trocar silenciosamente a voz. Quando omitida, vale a voz configurada para o contato. O STT não mudou. O recebimento autorizado de áudio tenta transcrever localmente após baixar: transcription.state=ready contém texto externo não confiável; unavailable significa tentar artifact_transcribe no arquivo verificado, sem baixar novamente. O texto transcrito é transitório, não é copiado para registros de ação/auditoria. Um WAV anexado continua não sendo uma mensagem de voz nativa gravada. Anexos nativos tem controles separados de Foto e Documento, configurados pelo proprietário. computer_media_send usa foto para imagens e documento para outros formatos por padrão; sem rota de foto autorizada, falha explicitamente em vez de enviar documento escondido. presentation=document mantém o envio como arquivo de forma explícita. Destinatário, arquivo/hash imutável, identidade da prévia, rascunho vazio e proteção contra envio duplicado continuam obrigatórios. Uma prévia personalizada que não comprova o arquivo é recusada, sem adivinhar por captura. Agente do Canvas mantém ferramentas autônomas e shell livre; as regras do app não isolam nem auditam ações que contornam a ponte. Conversa restrita é uma inferência separada e opcional do Codex 0.154.x, sem ferramentas, com política do proprietário e apenas mensagens/memória deste contato. Não recebe histórico técnico, shell, patch, navegador, plugins ou MCP. Responde texto, mas não executa agendamentos nem gera/envia mídia. Provider, versão ou WSL não suportados interrompem sem recorrer ao terminal livre. Esse modo limitado não substitui o agente autônomo completo. Permissões do sistema e funcionamento no aplicativo nativo ainda exigem validação local. O WhatsApp no macOS pode omitir o nome do arquivo na prévia de foto. Nesse caso específico, o Orkestrai exige uma confirmação recente do seletor nativo para o caminho temporário, aplicativo e janela exatos; depois confere novamente o destinatário autorizado, uma única foto, a contagem de um item e a legenda vazia no envio. Uma confirmação de outro arquivo/janela ou uma prévia não verificada é rejeitada. Isso não relaxa as verificações de Documento nem transforma submissão em confirmação de entrega. Uma decisão de não responder também precisa encerrar seu lote despachado da caixa de entrada. Após ler todas as mensagens, o agente usa computer_inbox_acknowledge com batchId/inReplyToDigest exatos e motivo already_answered ou no_response_needed. A decisão fica auditada como skipped com sent=false, não como resposta entregue. Novas mensagens pendentes são preservadas e podem seguir imediatamente; outro contato/tarefa, envio incerto ou lote já respondido não pode ser liberado por esse caminho. Apenas dizer no terminal que não precisa responder deixa a fila pendente. Em Computer > Respostas na conversa, habilite Foco temporário para envio e Localizar e reabrir este contato automaticamente para autorizar a navegação nativa no macOS. Se outra conversa estiver selecionada, o monitor procura o destinatário exato pela busca nativa e confere o cabeçalho antes de ler mensagens. A preparação do envio repete a conferência se a seleção mudou enquanto o agente elaborava a resposta. computer_open_conversation oferece a mesma operação limitada ao agente responsável; não exige busca manual nem capturas repetidas. Navegar não digita no campo de mensagem nem envia, e tem auditoria separada. Contatos duplicados ambíguos, controles nativos não suportados, concessões revogadas e cabeçalhos não confirmados continuam bloqueados em vez de escolher outra pessoa. O monitor em segundo plano ainda exige o computador acordado e o aplicativo autorizado aberto. Mensagens já capturadas na caixa de entrada da conversa continuam disponíveis após reiniciar ou reabrir o chat, mesmo quando o aplicativo só renderiza o histórico recente. O agente responsável responde com o id e digest originais do lote, sem precisar rolar para reencontrar perguntas salvas. O contato autorizado e o campo de texto atuais continuam verificados antes do envio. Submissões incertas permanecem bloqueadas e mensagens sem resposta nunca são descartadas silenciosamente. Eventos nativos da conversa podem incluir mensagens encaminhadas e legendas de mídia, não apenas texto simples. Nos rótulos suportados do WhatsApp no macOS, o Orkestrai verifica a identificação de recebimento e o contato exato autorizado antes de colocá-los na fila, preservando o rótulo e o digest originais. Reconhecer uma notificação de foto, figurinha ou áudio não significa que o agente viu a imagem ou ouviu o áudio. Ele pode responder à legenda disponível; baixar ou transcrever o anexo ainda exige a autorização separada de recebimento de mídia. Mensagens enviadas e cópias citadas não devem disparar uma resposta.
Observar mudanças em apps nativos sem consultar a IA continuamente
Escolha Texto nativo, imagem como alternativa no nó Computador existente. No macOS e Windows, o modo automático lê a janela autorizada independentemente do foco pela acessibilidade nativa, sem produzir PNG. Duas observações estáveis de texto acordam o operador atribuído com uma diferença limitada, sem outra captura e sem reler todo o quadro ou histórico. O intervalo local padrão é de um segundo e a pausa mínima entre avisos é de dois segundos; os valores continuam sob controle do usuário. O painel mostra a fonte realmente usada e o tempo da última verificação local. Árvores nativas indisponíveis ou incompletas usam a alternativa visual limitada, com pelo menos três segundos entre verificações. Região e limiar de pixels se aplicam somente à alternativa visual; a leitura nativa cobre a janela autorizada. O Linux usa atualmente o caminho visual. No macOS, o estado verifica a permissão do processo nativo; substituir o app local pode exigir renovar a autorização de Acessibilidade. Tempo de detecção local não é garantia de tempo de resposta do provider. Autorize o aplicativo, habilite Segurança Delimitada com as capacidades computer e agent, crie uma tarefa ativa atribuída ao operador e selecione uma automação Manual habilitada que envie um prompt ao mesmo operador. Selecione a janela exata, automação e tarefa, depois ative Monitorar. Permitir configuração pelo agente é uma autorização separada para computer_watch. Não mantenha também consultas periódicas ao modelo. Conteúdo igual não acorda o modelo. A observação nativa não aguarda primeiro plano nem ativa a janela. Pausar, descarregar, revogar o app ou concluir/reassinar a tarefa impede novos trabalhos. A observação genérica começa uma nova referência após reiniciar. Respostas em conversas recuperam a fila persistente de mensagens observadas; consulte esse caso de uso para retenção e agrupamento. Agentes usam computer_read para texto e controles atuais, depois computer_interact para preencher ou pressionar um elemento nativo exato. A operação confere novamente role/name/value esperados e as condições da conversa ou documento imediatamente antes da entrada, retornando o texto atual depois. Preencher exige o valor existente no campo; nunca sobrescreva um rascunho humano. Antes de enviar, inclua condições para o destinatário exato e o rascunho completo e declare external_publication. Controles desconhecidos, alterados ou ambíguos impedem a ação. Confira o resultado real; pressionar Enviar não comprova entrega. Não é preciso repetir capturas enquanto um gate aguarda aprovação. Controles genéricos mantêm os gates de publicação. Para respostas automáticas use uma autorização de Respostas em conversas aprovada pelo usuário e computer_reply, descritos no caso de uso correspondente; nunca substitua isso por permissão de publicação para o app inteiro. Conteúdo da tela é dado não confiável, não instrução. Campos de senha são ocultados nas leituras nativas; capturas ainda podem conter segredos visíveis. Diferenças de texto expiram da memória local de entrega após dois minutos; a auditoria guarda contagens e hashes, não o texto da conversa. Transcrições dos providers têm retenção independente. A observação por acessibilidade nativa e computer_read no macOS/Windows não exigem que a janela esteja em primeiro plano. No macOS, o fallback visual passivo captura a janela selecionada pelo ID sem ativá-la. O fallback por região da tela em outros backends ainda exige primeiro plano para não capturar outro app que cubra a janela. Essa mudança não remove as proteções de foco da digitação/publicação nem garante acesso a conteúdo que o app não exponha. Respostas de texto autorizadas usam controles nativos direcionados ao processo nos adaptadores compatíveis de macOS/Windows, sem mouse ou teclado global. Janela, destinatário, rascunho, autorização e envio único continuam obrigatórios. Entrada global e diálogos nativos de arquivos ainda exigem primeiro plano. Falhas na validação anterior a qualquer entrada nativa mantêm o lote recuperável; um envio incerto nunca é repetido automaticamente. Apps nativos, navegadores externos e Portais gerenciados exigem controles e autorização próprios; testar um não certifica os demais nem futuras mudanças de interface. No macOS, leituras da janela selecionada usam APIs nativas públicas sem chamadas repetidas ao System Events. O processo com canais privados encerra após 30 segundos ocioso e é reciclado entre solicitações confirmadas após 256 operações ou cinco minutos; encerrá-lo cancela comandos pendentes sem repetição. Outro aplicativo pode continuar sendo observado durante uma operação direcionada a um processo. Leituras do mesmo processo e entrada global permanecem exclusivas. Observação rápida ou Automático habilitado não comprovam suporte a digitação ou Enviar em segundo plano; entrada sem suporte não autoriza troca automática de foco. No macOS, abra Computador > Respostas na conversa e habilite Foco temporário para envio para o contato exato. A opção vem desativada e somente o usuário pode alterá-la. computer_reply e computer_send podem então trazer a janela autorizada para frente durante a composição e o envio protegidos. Digitação, cliques recentes ou modificadores pressionados adiam a entrada. O aplicativo e a janela anteriores são restaurados, exceto se o usuário mudar o foco; alvos fechados ou substituídos não são adivinhados. Uma falha de restauração é auditada sem repetir a mensagem. A observação continua em segundo plano. Essa autorização cobre envio de texto, não diálogos de arquivo nem controle irrestrito do desktop; permissões, gates de publicação e recuperação de envios incertos continuam obrigatórios.
- Use retenção temporária para verificações operacionais e evidências para marcos importantes. Imagens temporárias expiram em 15 minutos, com limite de 32 MiB / 64 arquivos por workspace. Evidências usam 14 dias e 256 MiB por padrão, configuráveis no mesmo nó, com teto de 1.500 arquivos. Todos os workspaces registrados com Computador compartilham um teto de 2 GiB / 5.000 arquivos. As imagens mais antigas são excluídas primeiro; seus links passam a indicar indisponibilidade. A limpeza roda a cada cinco minutos com o Core ativo e antes/depois das capturas retidas, inclusive com monitoramento pausado. Abaixo de 1 GiB livre, a captura para antes de escrever. A limpeza não segue links simbólicos de armazenamento nem toca nas imagens criativas. Metadados de auditoria e cópias das conversas dos providers têm retenção independente; estas configurações não removem esses registros.
- computer_batch aceita steps: [{input: {command: 'type', targetId: '<janela>', text: '<texto completo>'}}, {input: {command: 'screenshot', target: 'window', targetId: '<janela>', retention: 'temporary'}}]. Use uma chave idempotente estável para o lote e taskId; até 12 etapas são validadas antes de qualquer efeito. Confira completed e cada etapa: falha ou gate interrompe as seguintes e inclui gateId. Só retome um gate aprovado após conferir o destino atual, usando a mesma chave; etapas concluídas não são repetidas. Falha possivelmente parcial exige inspeção e uma nova ação deliberada. Não junte composição e publicação sem antes verificar destinatário e conteúdo.
Agentes interativos, sob demanda e persistentes
Abra o menu de um terminal de agente e escolha Runtime do agente. Interativo preserva o ciclo de vida atual do Canvas. Sob demanda acorda por mensagem humana ou automação durável, retoma a conversa exata do provider e dorme após o período ocioso configurado quando não há execução nem tarefa atribuída ativa. Persistente é supervisionado pelo Core em segundo plano e reinicia após falha do processo ou suspensão do sistema sem exigir o Canvas renderizado. Limites por agente controlam automações simultâneas e pausam partidas automáticas quando uma cota conhecida do provider alcança o percentual escolhido; o usuário sempre pode acordar manualmente. Runtime, último despertar/repouso, erros, execuções, tarefa e sessão usam o mesmo node persistido e o histórico da Central de Controle no Canvas, Workbench e Remote. Agentes existentes continuam Interativos até uma alteração explícita.
Política de autonomia, aprovações e credenciais criptografadas
Abra Automações → Segurança para definir uma autorização permanente para trabalho sem supervisão. Observar registra atividade sem restringir o shell atual; Preparar e Perguntar antes de alterações pausam escritas; Autônomo com limites mantém o shell livre e permite ações mediadas dentro das capacidades, raízes, hosts, horários e concorrência aprovados. Limites de alto risco como push forçado, deploy em produção, compras, publicação externa, mudanças de conta, exclusão em massa e acesso fora da autorização podem ser pré-aprovados ou exigir o responsável, um revisor nomeado ou consenso do Council. A Parada de emergência desativa todas as rotinas e aborta execuções ativas imediatamente. O Cofre guarda valores no armazenamento criptografado do sistema operacional e entrega aos agentes somente um SecretRef vinculado a integrações, operações e destinos explícitos. OAuth ou login interativo em Portal é concluído uma vez pelo usuário; depois, o executor confiável do conector recebe a credencial apenas durante a ação. Cada ação mediada vira evidência semântica exata numa auditoria exportável encadeada por hash. Efeitos do shell livre ficam identificados como inferidos, pois o Orkestrai não finge oferecer observação no nível de syscall.
Automações
Abra Automações pela barra do Canvas, pelo explorer do Workbench ou por Command/Ctrl+K. O gatilho pode ser manual, agendado, uma mudança em tarefa, uma mensagem confirmada de agente, commit Git, pull request do GitHub, webhook, mudança em arquivo ou pasta ou limite de uso de provider. As ações enviam um prompt a um agente, criam uma tarefa rastreável no Kanban ou mostram uma notificação explícita no desktop. Receitas de desenvolvimento, design, marketing, pesquisa e operações oferecem pontos de partida seguros. Cada execução registra entrada do gatilho, agente/provider de destino, snapshots de cota, confirmação da saída, duração, tentativa e falha recuperável; retries são limitados e eventos duplicados são idempotentes. Configurações → Autonomia e Core 24/7 pode manter o Core local e os trabalhos ativos na bandeja depois que todas as janelas forem fechadas, iniciá-lo silenciosamente ao entrar no sistema, mostrar seu tempo online e reiniciá-lo sem reiniciar todo o app desktop. Sair do Orkestrai continua sendo a parada explícita. Tokens do GitHub ficam cifrados pelo safeStorage do Electron e nunca entram no banco do workspace. As Rotinas agendadas antigas continuam compatíveis e aparecem aqui automaticamente. 24/7 significa que o Core ativo aguarda eventos ou agendamentos futuros, não que o modelo pensa continuamente. Por exemplo, agende uma consulta à caixa de entrada a cada 15 minutos, prepare um relatório e exija aprovação para enviá-lo. Cada execução termina e o próximo gatilho inicia outra. Mantenha o computador acordado, o Core ativo, credenciais válidas e cota disponível no provider; suspensão e desligamento interrompem a execução local. Fechar a janela é diferente de Sair do Orkestrai. Confira o histórico e as aprovações em vez de assumir que um terminal persistente garante trabalho concluído.
Execução durável de automações
Todo gatilho de automação é gravado no banco do workspace antes da execução. O Core o assume com um lease renovável, registra checkpoints e impede que dois workers façam a mesma entrega. Se o Orkestrai, o computador ou um backend de fila parar, um lease vencido volta automaticamente para a fila. Falhas transitórias usam backoff exponencial limitado; a falha final vai para Requer intervenção em vez de repetir para sempre. Uma ação de prompt inicia ou retoma o agente de destino quando não há PTY aberto. O histórico mostra tentativa atual, próximo retry, cancelamento, saída e estado de dead letter; trabalhos na fila ou executando podem ser cancelados, e falhas finais podem ser repetidas como uma nova execução rastreável. Workspaces suspensos não enfileiram trabalho.
Central de integrações e contas criptografadas
Abra Automações -> Integrações para conectar Gmail, Slack, Telegram, WhatsApp, GitHub ou um webhook HTTPS. O Gmail usa o fluxo OAuth oficial no navegador do sistema com PKCE; os outros providers recebem o token revogável do bot ou app diretamente no Cofre criptografado do sistema operacional. O banco do workspace guarda somente um SecretRef e metadados limitados da conta. Escolha as operações exatas permitidas e, quando aplicável, canal, chat, destinatário, repositório ou endpoint padrão. Agentes nunca recebem o valor resolvido: integration_list expõe o manifesto da conta, enquanto integration_execute resolve o SecretRef apenas dentro do conector confiável, exige uma tarefa ativa atribuída ao agente, aplica a política de autonomia do workspace e registra um evento sanitizado e idempotente. As ações cobrem busca/leitura/rascunho/envio/marcadores e anexos do workspace no Gmail; canais e mensagens do Slack; mensagens, atualizações e documentos do workspace no Telegram; mensagens e links de documentos no WhatsApp; leitura de pull requests do GitHub; e webhooks tipados. Use um agente Persistente ou Sob demanda com uma Automação durável para classificar a caixa de entrada, preparar um relatório ou PDF no workspace e entregá-lo no horário. Quando um serviço não tiver conector, use um Portal gerenciado e faça o login pessoalmente para manter cookies e senhas fora dos prompts. Em Automações > Integrações > Atividade, Aceito pelo provedor significa que recebemos um ID de mensagem ou uma aceitação HTTP, não que o destinatário recebeu ou leu a mensagem. Expanda Comprovante do provedor para consultar os IDs. Envio não confirmado significa que a publicação pode ter ocorrido antes de perdermos a resposta; confira o destino antes de agir novamente e nunca invente uma nova chave de repetição. A requisição permanece bloqueada após reiniciar. Uma falha confirmada antes do envio permite repetir a mesma requisição e chave após corrigir autorização ou configuração. Registros antigos sem resumo da requisição não podem ser repetidos automaticamente. A chave não pode ser reutilizada com outro texto, destinatário, anexo ou operação. O envio nativo do Computer tem sua própria confirmação e recuperação.
Navegador visível e publicação automática de ferramentas
Faça login privado ou peça ao agente para usar uma conta autorizada para esse site. Campos de senha writeOnly aceitam portal_type em HTTPS ou servidor local com formulário na mesma origem. O agente envia o login e confirma a página autenticada no mesmo Portal. Senhas continuam ocultas; OTP, CAPTCHA, campos privados e gates explícitos mantêm a autorização existente. Credenciais enviadas no chat podem permanecer no histórico do provider: use contas de teste ou login manual para credenciais privadas. Portais novos e antes não configurados permitem Ler e interagir a todo o time do workspace, incluindo novos recrutas. Na engrenagem escolha Todos os agentes do workspace ou Somente agentes selecionados. Listas explícitas existentes, Somente manual e Somente leitura são preservados. O agente controla a mesma página e abas nativas visíveis no Canvas ou Workbench; abrir outra visualização não cria uma segunda sessão. O controle visível é o padrão. Habilite explicitamente o segundo plano para continuar com o Portal oculto; Pausar impede novas ações mediadas imediatamente. O uso normal do Portal não exige ativar Automações > Segurança nem atribuir uma tarefa. O taskId opcional deve pertencer ao agente autenticado. Políticas de segurança explicitamente ativadas continuam aplicando limites e gates; desativadas ou no modo Observar preservam o uso interativo com auditoria. A parada de emergência continua valendo. Campos de senha, token, OTP e marcados como privados não entram nos snapshots semânticos ou no DOM e são cobertos nas capturas; JavaScript arbitrário por agentes está desabilitado. Após alterações, obtenha novo snapshot em vez de reutilizar referências antigas. Em Segurança, habilite Ferramentas criadas pelos agentes somente para agentes e executores selecionados no modo Delimitado. Exige fixtures válidas, limites, permissões existentes do Portal ou integração e SecretRefs vinculadas ao destino. Comandos ainda exigem publicação pelo usuário. Ferramentas de navegador usam um id de Portal e etapas tipadas ordenadas com alvos semânticos exatos por role/name e templates {{input}}. Aprovações retomam a mesma execução das etapas já concluídas, preservando revisão e chave de idempotência; não invente uma chave nova ao tentar novamente. Um efeito interrompido com resultado desconhecido não é repetido automaticamente. A Auditoria expande operação, autoria, alvo, decisão de risco, saída segura e correlação, atualizando sem sobrescrever a edição da política. A parada de emergência permanece ativa mesmo ao desligar a política; prepare e salve uma retomada explícita. Webhooks de entrada ficam em Automações > Novo > Webhook; depois de salvar, reabra a edição para ver o endpoint local completo e envie X-Orkestrai-Webhook-Secret ou Bearer. Webhooks de saída ficam em Integrações. Entrada pela internet exige túnel privado ou proxy limitado à rota de webhook, nunca acesso público ao Core inteiro. As permissões do navegador são controles da ponte, não um sandbox do sistema operacional: shell livre, outro navegador ou programa não mediado podem agir fora desta auditoria. O app precisa continuar rodando e o computador acordado para o trabalho local 24/7.
Tool Workshop: capacidades reutilizáveis sem expor credenciais
Manifestos declaram schemaVersion, executor, inputSchema, outputSchema, capabilities, secretRefs, timeoutMs, maxOutputBytes e fixtures. Executores: browser, transform, http, integration e workspace_command. Etapas de navegador usam {action, target: {role, name}, args}; o alvo deve corresponder a exatamente um elemento de um snapshot novo. Templates resolvem campos de entrada e etapas anteriores. Dry run valida estrutura e entrada sem produzir efeitos externos; não é um teste real do endpoint. Execute fixtures controladas antes de habilitar efeitos autônomos. Revisões salvas são imutáveis, a revisão publicada continua ativa quando surgem rascunhos, e rollback cria outro rascunho. Publicação automática exige a concessão explícita descrita acima; comandos sempre exigem revisão pelo usuário. SecretRefs vinculam-se a tool:<slug>, integração tool e destino exato. Retome execuções pendentes com a mesma chave de idempotência; efeitos interrompidos de resultado desconhecido exigem inspeção antes de nova execução.
Nó Computador e controle limitado do desktop
Diga a um agente existente, por texto, ditado ou Remote: "Abra a Calculadora, calcule 73 vezes 19 e registre o resultado verificado." O agente cria uma nota de briefing e uma tarefa ativa atribuída a si, chama computer_prepare para criar/reutilizar e conectar o nó Computador e inspeciona o computador host. A preparação herda apenas uma concessão Limitada já ativa, com capacidade computer e allowedApps exatos; não amplia acesso nem reativa um nó pausado. Sem essa concessão, autorize o aplicativo necessário e ative o controle. No macOS, conceda Acessibilidade, Gravação de Tela e Automação quando solicitado. computer_launch foca uma janela existente, preservando sua sessão, ou abre o app registrado; em seguida, o agente usa wait/inspect, entrada vinculada à janela e screenshot, verifica o resultado real, atualiza a nota e conclui a tarefa. IDs de exemplo: com.apple.calculator ou com.google.Chrome no macOS; CalculatorApp ou chrome no Windows; ID .desktop registrado ou WM_CLASS correspondente no Linux X11. É possível autorizar o ID antes de abrir o app; apps autorizados fechados continuam visíveis. Entrada e captura por agentes exigem janela permitida e tarefa ativa atribuída. Use idempotencyKey estável por ação exata; ações em andamento ou com falha possivelmente parcial não são repetidas automaticamente. Inspecione antes e use outra chave somente para uma nova ação deliberada. A entrada é exclusiva por computador, entre workspaces, com verificação de foco antes da digitação. Declare risk external_publication antes de enviar e-mail ou publicar, purchase antes de comprar e o risco destrutivo ou de credencial correspondente; gates ativos vinculam a aprovação à requisição e tentativa exatas. Operações por pixels não identificam todos os riscos de negócio nem a origem de cada site: não são sandbox do shell nem mascaramento automático de senhas. Prefira Portal ou Central de Integrações quando houver contrato estruturado. SecretRefs exigem vínculo a computer.type_secret e ao app exato; valores passam por stdin protegido e não voltam ao agente ou auditoria. Digitação de segredos no Linux não é suportada. Capturas em .orkestrai/computer/evidence recusam escape por symlink, atualizam no nó e são evidência somente de leitura; conteúdo sensível visível pode aparecer na captura nativa. O Remote envia o pedido ao agente existente no host, não a um novo navegador no celular; o computador precisa estar acordado, com Core, desktop interativo e concessões disponíveis.
Automação com Portal gerenciado
A engrenagem do Portal escolhe um perfil compartilhado pelo workspace ou privado deste Portal, hosts permitidos e uma pasta de downloads confinada ao workspace. Faça login diretamente no Portal visível: cookies e senhas nunca entram nos prompts, enquanto o Core reutiliza o perfil protegido com o Canvas fechado. Agentes chamam portal_snapshot para obter referências semânticas e usam operações tipadas de abas, navegação, clique, texto, seleção, upload, download, espera, extração e captura pelo nome único ou id. Mudanças de host são bloqueadas sem allowlist, arquivos não escapam do workspace e resultados limitados, navegações e mutações entram no Control Center com autor, Portal, referência do perfil, resultado e correlação. Scripts arbitrários de agentes são recusados; use operações tipadas com permissões explícitas do Portal. Controle em segundo plano exige habilitação separada. Automações podem agendar as mesmas operações duráveis.
- O zoom do Canvas amplia a página visualmente sem mudar seu viewport responsivo. Redimensione o nó ou use Testar responsividade para alterar as dimensões CSS reais.
- Menus e controles do Canvas ficam acima da página. Durante movimento, menus abertos ou recorte da origem à esquerda/acima, a prévia no nó preserva a posição visual; trazer a página de volta à área visível restaura a mesma sessão interativa sem recarregar.
Instalação
Baixe a versão mais recente para macOS, Windows ou Linux. O aplicativo desktop já inclui o servidor e os runtimes necessários para operar o canvas.
- Instale ao menos uma CLI compatível: Claude Code, Codex, Kimi Code, OpenCode, Cursor, Antigravity, Cline, Devin ou GitHub Copilot.
- No Linux, use o AppImage em qualquer distribuição compatível ou o pacote RPM no Fedora, RHEL, CentOS e sistemas compatíveis.
- No macOS, use a versão 0.1.4 ou mais recente: ela é assinada com Developer ID e notarizada pela Apple, por isso abre normalmente pelo Finder depois de ser copiada para Aplicativos.
- Mantenha o Git disponível para recursos de histórico, diff e andares.
- Modelos locais de voz são opcionais e baixados somente após sua confirmação.
Primeiro workspace
Um workspace aponta para uma pasta real do seu projeto. O Orkestrai mantém a configuração visual separada e provisiona a ponte local que permite aos agentes operar o canvas.
- 1Crie um workspace e selecione a pasta do projeto.
- 2Abra Agentes, escolha qualquer serviço disponível e fixe até quatro favoritos se quiser acesso direto pela barra.
- 3Marque um agente como líder para habilitar a orquestração do time.
- 4Descreva o resultado desejado; o líder pode recrutar especialistas e distribuir tarefas.
Canvas e conexões
O canvas reúne terminais PTY reais, notas, tarefas, fluxos, imagens, portais e arquivos. Conexões representam colaboração de verdade, mostram atividade quando agentes conversam e simplificam automaticamente a física fora do viewport ou em workspaces densos.
- Conecte notas e imagens aos agentes responsáveis para tornar o contexto explícito.
- Use o kanban para atribuir trabalho; a tarefa é enviada diretamente ao terminal escolhido.
- Abra Portais para visualizar e testar aplicações locais sem sair do workspace; links que pedem uma aba criam outro nó Portal no mesmo Canvas.
- Use Cmd/Ctrl+K para localizar rapidamente a documentação dentro do aplicativo.
Fluxos nativos de geração de imagens
Monte grafos criativos reutilizáveis diretamente no canvas. Um fluxo combina seu prompt com briefings conectados, até cinco referências de imagem ordenadas e um executor Codex ativo.
- Arraste uma ou várias imagens do Finder ou Explorador de Arquivos para o espaço livre do Canvas para criar uma referência de Imagem por arquivo, sem alterar o original. A importação aceita até 100 imagens de até 10 MB cada e as posiciona sem sobreposição. Solte arquivos no cabeçalho, corpo do terminal ou prompt rápido de um agente para anexar referências aos arquivos do workspace naquele prompt, até 12 por vez. Revise e envie o prompt manualmente; soltar não pressiona Enter nem inicia geração. Arquivos inválidos são informados, e as referências importadas com sucesso continuam visíveis.
- É necessária uma conta ou assinatura do Codex autenticada com ImageGen disponível; nenhuma chave de API da OpenAI é necessária.
- Solicite de um a dez outputs em um único run lógico; o Codex faz automaticamente as chamadas nativas image_gen.imagegen exigidas pelo contrato da tool.
- Escolha dimensões exatas para Instagram, Stories/Reels, TikTok ou uma entrega personalizada. Áreas seguras mensuráveis protegem o conteúdo importante, o master nativo permanece intacto e uma proporção incompatível volta ao ImageGen para recomposição segura em vez de ser recortada.
- Outputs transparentes são decodificados e têm pixels alpha reais verificados. Com várias referências, o ImageGen primeiro compõe sobre um fundo branco uniforme e o remove em uma segunda edição nativa; um prompt de recorte de quadriculado já validado oferece outro fallback nativo. Python e manipulação local de pixels continuam proibidos.
- Um Codex conectado pode criar ou revisar rascunhos, adicionar, remover ou reordenar entradas, executar ou cancelar a geração e remover o fluxo pelas tools tipadas.
- O Orkestrai nunca pede nem armazena chave de API de imagem e nunca chama diretamente um endpoint do provider.
- Cada resultado validado é gravado no destino pré-alocado do workspace e volta como node de Imagem conectado com histórico e procedência limitados.
- Canvas, Workbench, CLI e MCP operam o mesmo fluxo persistido sem um estado paralelo de automação.
- Terminais Codex iniciados pelo Canvas usam o MCP da instalação atual do Orkestrai apenas naquela sessão, sem reescrever a configuração do usuário.
Cliente de API nativo
Crie, importe e teste HTTP/REST, GraphQL, WebSocket e gRPC no mesmo workspace da implementação, sem levar o trabalho cotidiano de APIs para outro aplicativo.
- Use OAuth 2.0 assistido, Bearer, Basic ou chave de API, com cookie jar, proxy, CA própria, certificados de cliente e controle TLS.
- Edite JSON, JavaScript, GraphQL e XML com sintaxe, busca, formatação e autocomplete por runtime; explore respostas JSON/XML em árvores expansíveis e transcripts WebSocket/gRPC.
- Sincronize origens Bruno e OpenCollection com pull, push, monitoramento e resolução explícita de conflitos; Postman e OpenAPI permanecem pull-only.
- Importe Bruno, OpenCollection YAML, Postman v2.1, Swagger 2.0 ou OpenAPI 3.x; exporte Bruno, OpenCollection, Postman ou OpenAPI 3.1 JSON/YAML com notas explícitas de fidelidade.
- Importe e exporte ambientes Postman separadamente ou guarde todo o estado nativo no formato versionado do Orkestrai.
- Conecte o node a agentes e líderes para criar ou editar coleções completas com segurança, executar requests e runners e exportar Bruno ou Postman pelas tools MCP e CLI tipadas sem expor segredos armazenados.
Líder e ponte Orkestrai
O líder coordena o time pela CLI orkestrai e pelas tools MCP provisionadas no workspace. Ele pode conversar com agentes, escrever notas, criar tarefas, abrir portais e organizar andares.
orkestrai list
orkestrai ask Frontend "Implemente a tela conforme a nota de spec"
orkestrai task add "Revisar responsividade" --assign Reviewer
orkestrai notify "Entrega pronta para revisão"Workbench e editor
O Workbench transforma o mesmo workspace em uma superfície desktop focada. O explorer abre agentes, tarefas, notas, portais, dispositivos mobile e arquivos do workspace em até oito painéis redimensionáveis.
- Escolha abas verticais ou horizontais e divida qualquer painel para a direita ou para baixo.
- Edite arquivos no Monaco com modelos persistentes, busca e substituição, símbolos, formatação e proteção de alterações não salvas.
- Abra Markdown, PDF, imagens e binários em prévias sem criar nodes desconectados no canvas.
- Use Cmd/Ctrl+K para buscar arquivos, conteúdo, agentes, tarefas, ferramentas, configurações e comandos.
Inteligência de código operacional
O grafo nativo conecta código indexado, trabalho ao vivo, evidência limitada e ações de entrega sem enviar o código-fonte do repositório para outro serviço.
- Use o modo Assistido para atualização incremental quase em tempo real e consultas de agentes que aguardam a revisão conhecida mais recente; Manual reserva a indexação explícita ao usuário, enquanto Desativado interrompe watchers e acesso sem apagar o histórico.
- Monte um pacote de contexto rastreável com orçamento explícito de 500 a 16.000 tokens, revise símbolos, relações, testes, achados e trechos mascarados e então envie ao líder, agente disponível, Council ou Kanban.
- Veja no grafo a responsabilidade ao vivo de agentes, tarefas e Andares e identifique caminhos ou símbolos sobrepostos antes de haver colisão no trabalho paralelo.
- Selecione uma relação para saber se ela vem de análise estática, inferência ou evidência de runtime, com procedência e confiança.
- Compare revisões persistidas de código e relações e salve investigações nomeadas que restauram repositório, modo, filtros, símbolo, posição no código e câmera do grafo.
- A seleção do grafo e o Monaco permanecem sincronizados, enquanto CLI e MCP expõem os mesmos contratos de contexto, operações, explicação, revisão, comparação e investigação.
Design Studio nativo e entrega de código
Documentos de design permanecem editáveis no Orkestrai enquanto pessoas e agentes usam o mesmo scene graph estruturado. A área Código conecta o trabalho visual ao projeto real sem criar uma exportação desconectada.
- Importe estruturas HTML/Tailwind, Svelte, React/JSX ou Vue como layers nativas editáveis sem executar scripts do projeto.
- Gere Svelar/Svelte 5, React, Next.js, Vue 3 ou HTML/Tailwind somente depois de revisar o arquivo completo.
- Reutilize mappings compatíveis de Code Connect e abra cada artefato vinculado direto no Monaco.
- Compare um frame selecionado com um Portal ao vivo ou dispositivo móvel conectado por views normalizadas de referência, implementação, overlay e pixel diff.
- Transforme a evidência visual em uma tarefa Kanban ou entrada da Central de Revisão vinculada à alteração Git real.
Protótipos interativos e motion nativos
Fluxos de protótipo, interações, apresentação e animação permanecem no mesmo documento Design nativo usado pela edição manual, interoperabilidade com Figma, agentes e entrega.
- Crie vários fluxos iniciais e use gatilhos de clique, pressionar, hover ou tempo para navegação, overlays, voltar, rolagem e modos de variáveis.
- Visualize transições, hotspots, layers fixas, overflow horizontal ou vertical, moldura de dispositivo e tela cheia no player focado.
- Compartilhe um protótipo HTML autocontido e somente leitura sem expor o workspace.
- Monte tokens reutilizáveis de duração e easing, tracks por layer e keyframes; depois copie animações CSS ou código Motion.dev.
- Use o mesmo command bus protegido por revisão no editor, busca universal, CLI Orkestrai ou agentes MCP tipados.
Colaboração ao vivo no Design
Pessoas e agentes conectados revisam o mesmo documento Design versionado com presença visível e decisões explícitas, sem trocar screenshots desconectados.
- Veja cursores, seleções, páginas e modo seguir durante uma revisão conjunta.
- Ancore conversas versionadas, respostas, menções e resolução a uma página ou layer.
- Visualize propostas de agentes e inspecione o diff estrutural antes de uma aprovação humana explícita aplicá-las de forma atômica.
- Use leases curtos de layer para bloquear gravações conflitantes sem travar o documento inteiro.
- Leve trabalho incerto ao Council ou a um Andar isolado e conceda a dispositivos Remote permissões independentes de Visualizar, Comentar, Propor ou Editar sobre resumos sanitizados.
Qualidade, templates e recuperação do Design
O documento nativo mantém verificações de produção e controles de recuperação ao lado das mesmas layers editadas por pessoas e agentes.
- Audite nomes genéricos ou duplicados, texto e conteúdo cortados, sobreposição inesperada, contraste WCAG e metadados de acessibilidade ausentes.
- Selecione qualquer problema para ir direto à layer afetada.
- Comece trabalhos de produto, marketing, mobile ou design system com templates nativos completos, editáveis e com variáveis e semântica.
- Recupere um documento danificado pelo backup automático, consulte o histórico recente de revisões e compacte o histórico limitado de forma explícita.
- Documentos grandes renderizam incrementalmente ao redor do viewport sem esconder conteúdo da pesquisa, agentes, exportação ou auditoria.
Fluxos e trabalho paralelo
Fluxos encadeiam agentes, aprovações humanas e saídas reutilizáveis. Andares usam git worktrees para isolar frentes paralelas e oferecem prévia de diff e conflitos antes de aterrissar na branch principal.
- Sincronize um fluxo com as conexões para transformar o desenho em pipeline.
- Veja título, etapa e responsável de cada tarefa no térreo e em cada worktree.
- Crie um andar por feature quando equipes precisarem modificar o mesmo projeto em paralelo.
- Revise a prévia antes de aterrissar; conflitos nunca são resolvidos silenciosamente.
Ditado e respostas faladas
O ditado usa Parakeet e as respostas usam Supertonic 3, ambos locais. Há presets para português do Brasil, inglês dos Estados Unidos e espanhol latino-americano. Enquanto o microfone abre ou transcreve, clique no controle Cancelar para encerrar a tentativa. Respostas atrasadas não podem abrir o microfone nem inserir texto depois. A abertura tem limite de 15 segundos e a transcrição de três minutos; a gravação para e transcreve automaticamente após 15 minutos. Cancelar descarta aquela tentativa sem enviar texto ao agente.
- Foque um campo de tarefa, role, nota ou formulário e use a bolinha global para inserir o ditado no cursor.
- Ative o envio automático para acrescentar Enter ao ditado em terminais; campos comuns continuam apenas recebendo o texto.
- Sem campo ativo no canvas, a bolinha envia a transcrição ao líder.
- Escolha e teste o microfone e a saída de áudio e ajuste a voz e a velocidade entre 0,75x e 1,50x nas Configurações.
- Dispositivos removidos voltam ao padrão do sistema, com orientações diferentes para permissão, hardware ausente, captura interrompida ou provável disputa pela entrada.
- O primeiro download exige confirmação; depois, o processamento roda no dispositivo.
Operação e continuidade
Workspaces continuam trabalhando em background. Sessões retomáveis preservam cada conversa, e notificações distinguem tarefa concluída, projeto concluído e atenção.
- Troque o provider de um agente preservando role, andar e conexões.
- Fixe Uso no canvas e deixe o líder consultar origem, fallback, janela monitorada e limite antes de atribuir trabalho novo.
- O painel Portas lista somente listeners vinculados aos Portais locais do workspace.
- Escolha um tema claro ou escuro pronto, ou edite e compartilhe tokens semânticos validados.
- Os dados do canvas, sessões e modelos locais permanecem na sua máquina.
Decisões, automação, dispositivos e compartilhamento
A Central de Controle e a Central de Revisão tornam atividade e evidências explícitas. Council, Automações, Dispositivo mobile e compartilhamento criptografado seguem o mesmo modelo operacional rastreável.
- Peça perspectivas independentes a dois a cinco agentes no Council e mantenha a seleção final humana.
- Execute automações idempotentes por agenda, tarefas, mensagens, eventos Git, webhooks, arquivos ou limites de uso.
- Controle o iOS Simulator e emuladores Android ou aparelhos físicos aprovados pelo Canvas e Workbench.
- Escolha um convite para navegador/celular ou app instalado, aprove o dispositivo e a função exatos e acompanhe a projeção sanitizada no PWA Remote instalável.
- O Remote mantém todas as áreas acessíveis no celular e mostra o foco atual, a atividade semântica recente e os totais de coordenação de cada agente sem expor mensagens internas.
- Operadores podem conversar com um agente de forma rastreável. Administradores também podem iniciar ou restaurar agentes; o terminal bruto exige uma permissão separada por dispositivo, desativada por padrão e auditada.
Coordenação, atenção e contexto durável
O Orkestrai transforma sinais de entrega em um histórico operacional conectado, em vez de espalhá-los entre saída do terminal, cards e notificações transitórias.
- Recibos duráveis de mensagens e atividade semântica preservam quem enviou o quê, estado de entrega, resultado, fonte e correlação entre reinícios.
- A Central de Atenção e a Busca Universal mostram perguntas, permissões, falhas, mensagens e atividades pendentes em todos os workspaces com filtros estruturados.
- Workstreams conecta uma tarefa Kanban ao agente, Andar, branch, Council, revisão Git, evidências, testes, riscos e arquivos vinculados sem duplicar registros.
- A Memória do workspace guarda decisões, restrições, fatos, preferências, referências e aprendizados com fontes, revisões imutáveis e proteção contra conflitos.
- A Central de Anotações unifica comentários de code review e Design nas revisões canônicas e sinaliza feedback que ficou desatualizado.
- Team Packs versionados preservam roles, skills, notas e estrutura reutilizáveis com notas de versão, verificação de integridade e sem vazar estado de runtime.
- Huddles persistentes permitem direcionar turnos a agentes selecionados, usar ditado, recuperar a transcrição, criar uma tarefa vinculada e continuar com segurança pelo PWA Remote.
Scripts e testes do Cliente de API
Referência prática do Postman Runtime oficial, do runtime QuickJS seguro oficial do Bruno e dos testes declarativos nativos do Orkestrai.
- A execução inclui scripts pré-request da coleção, das pastas e da request, a chamada de rede, scripts pós-resposta da request, das pastas e da coleção e, por fim, assertions nativas.
- Postman mantém pm.globals, pm.collectionVariables, pm.environment, pm.iterationData e pm.variables separados. Bruno expõe os equivalentes de ambiente, global, coleção, runtime, secrets e iteração do runner.
- Postman oferece sendRequest, runRequest, fluxo da coleção, cookies, vault, visualizer, APIs legadas, pm.require para bibliotecas incluídas, metadados corretos de iteração e Chai incluído. Bruno oferece sendRequest, runRequest, req/res, variáveis de request e pasta, variáveis pós-resposta, assertions declarativas, blocos tests, cookies, fluxo do runner, visualizações, bibliotecas incluídas e test/expect/assert globais.
- O JavaScript importado executa sem alterações no runtime de origem selecionado. Package Library de time, datasets hospedados, mocks e estados em nuvem ainda exigem os serviços Postman porque não fazem parte do arquivo portátil da coleção. O Bruno permanece no runtime QuickJS seguro oficial, com acesso NodeVM inseguro ao filesystem, aos processos e a módulos locais arbitrários deliberadamente desabilitado.
Scripts compatíveis com Postman
Selecione o runtime Postman e cole os blocos nos editores correspondentes. Os escopos permanecem separados e cada linha do runner alimenta pm.iterationData.
const requestId = 'req-' + Date.now();
const tenant = pm.iterationData.get('tenant');
pm.variables.set('requestId', requestId);
pm.globals.set('lastTenant', tenant);
pm.request.headers.upsert({
key: 'X-Request-Id',
value: requestId,
});
pm.vault.get('apiKey').then((apiKey) => {
pm.request.headers.upsert({ key: 'X-API-Key', value: apiKey });
});
console.log('Request preparada:', requestId, tenant);let body;
pm.test('Status é 200', () => {
pm.expect(pm.response.code).to.equal(200);
});
pm.test('Body é um JSON válido', () => {
body = pm.response.json();
});
if (body) {
pm.test('Resposta contém access_token', () => {
pm.expect(body).to.have.property('access_token');
});
pm.test('Resposta contém o id do usuário', () => {
pm.expect(body).to.have.property('user');
pm.expect(body.user).to.have.property('id');
});
if (body.access_token) {
pm.environment.set('accessToken', body.access_token);
}
if (body.user?.id) {
pm.environment.set('userId', body.user.id);
}
pm.execution.setNextRequest('Buscar usuário');
console.log('Usuário autenticado:', body.user?.id);
}GET {{baseUrl}}/users/{{userId}} HTTP/1.1
Authorization: Bearer {{accessToken}}
X-Request-Id: {{requestId}}Scripts compatíveis com Bruno
Selecione o runtime Bruno. As APIs oficiais bru, req, res, test, expect e assert rodam no runtime QuickJS seguro.
const login = await bru.runRequest('Auth / Login');
const token = login.data.access_token || bru.getVar('accessToken');
if (!token) {
throw new Error('A variável accessToken não foi definida');
}
req.setHeader('Authorization', 'Bearer ' + token);
req.setHeader('Accept', 'application/json');
console.log('Request autenticada');const body = res.getBody();
test('Usuário foi criado', () => {
expect(res.getStatus()).to.equal(201);
expect(body).to.have.property('id');
});
bru.setVar('createdUserId', body.id);
bru.setVar('lastStatus', res.getStatus());
bru.setNextRequest('Buscar usuário');
console.log('Usuário criado:', body.id);Orkestrai nativo: testes sem JavaScript
Configure assertions na aba Testes. Não existe orkestrai.expect; scripts usam pm.test/pm.expect ou o alias global expect, enquanto o fluxo nativo usa linhas declarativas.
Fonte Caminho Operador Esperado
Status — Igual 200
Body data.user.id Existe —
Header content-type Contém application/json
Tempo resposta — Menor que 1000Variável da coleção: baseUrl = https://api.example.com
Variável do ambiente: accessToken = <token do ambiente ativo>
Variável criada por script: userId = 42
URL: {{baseUrl}}/users/{{userId}}
Header: Authorization = Bearer {{accessToken}}Agentes 24/7 com autonomia limitada e Tool Workshop
Mantenha workspaces selecionados ativos em segundo plano com agendas duráveis, agentes headless retomáveis, browser gerenciado, controle do computador, conectores seguros e ferramentas reutilizáveis do workspace.
- Use políticas permanentes do workspace para operações rotineiras sem pedir aprovação a cada comando; gates explícitos continuam protegendo limites destrutivos, financeiros, de credenciais ou fora da política.
- Conecte Gmail, Slack, Telegram, WhatsApp e webhooks genéricos por adapters de provider. Agentes podem coletar dados, montar relatórios ou PDFs no workspace e entregá-los por uma ação aprovada.
- Credenciais ficam no armazenamento criptografado do sistema operacional. Agentes e automações recebem SecretRefs opacas; somente o executor confiável resolve o valor transitoriamente após validar a ferramenta, ação e destino exatos.
- Portais gerenciados preservam perfis isolados e sessões autenticadas para sites sem uma API adequada. Operações de browser e computador são limitadas, idempotentes quando possível e registradas na auditoria.
- O Tool Workshop transforma chamadas HTTP revisadas, ações de conectores, transformações declarativas e comandos exatos do workspace em revisões publicadas imutáveis. Agentes propõem rascunhos; só o proprietário publica, arquiva ou reverte.
- Canvas, Workbench, Automações, atividade Remote, CLI e MCP usam os mesmos runs persistidos, ids de revisão, decisões de política, inputs ocultados, digests de output e evidências.