Showing posts with label python. Show all posts
Showing posts with label python. Show all posts

Monday, March 6, 2023

Jupyter Notebook Service and python, colab de google ? alternatives?

 

Which Jupyter Notebook Service Should I Use?

We recommend starting off with Gradient’s free Community Notebooks feature. With free GPUs and CPUs, storage, uninterrupted service, an intuitive UI, ML project templates, and much more, it’s hard to imagine a use case where Gradient wouldn’t fit the bill.

Dive in with a free GPU-backed Jupyter notebook (free account, free everything), fork one of many ML project templates (and run it for free from your own account), or check out the FAQ.


Qu'est-ce que Colab ?

https://colab.research.google.com/

Colab (ou "Colaboratory") vous permet d'écrire et d'exécuter du code Python dans votre navigateur avec
  • Aucune configuration requise
  • Accès sans frais aux GPU
  • Partage facile
Que vous soyez étudiant, data scientist ou chercheur en IA, Colab peut vous simplifier la tâche. Regardez la présentation de Colab pour en savoir plus ou commencez tout de suite.

Les notebooks Colab vous permettent d'utiliser, dans un même document, du code exécutable, du texte enrichi, des images, du code HTML, du code LaTeX et bien plus. Lorsque vous créez des notebooks Colab, ils sont enregistrés dans votre compte Google Drive. Vous pouvez facilement les partager avec vos collaborateurs ou vos amis, qui peuvent alors y apporter des commentaires ou même les modifier. Pour en savoir plus, consultez la page Présentation de Colaboratory. Pour créer un notebook Colab, utilisez le menu "Fichier" ci-dessus ou le lien Créer un notebook Colab.

Les notebooks Colab sont des notebooks Jupyter hébergés par Colab. Pour en savoir plus sur le projet Jupyter, consultez le site Web jupyter.org.

Science des données

Colab vous permet de tirer pleinement parti des bibliothèques populaires Python pour analyser et visualiser des données. La cellule de code ci-dessous utilise numpy pour générer des données aléatoires et matplotlib pour les visualiser. Pour modifier le code, cliquez simplement sur la cellule.

Machine learning

Colab vous permet d'importer un ensemble de données d'images, d'entraîner un classificateur d'images sur cet ensemble et d'évaluer le modèle, tout cela avec quelques lignes de code. Les notebooks Colab exécutent ce code sur les serveurs cloud de Google. Vous avez donc à votre disposition toute la puissance du matériel Google, y compris les GPU et TPU, quelle que soit la puissance de votre ordinateur. Vous n'avez besoin que d'un navigateur.

Colab est très largement utilisé par la communauté du machine learning, par exemple dans les applications suivantes :
  • Premiers pas avec TensorFlow
  • Développement et entraînement de réseaux de neurones
  • Expérimentation avec les TPU
  • Dissémination de la recherche en IA
  • Création de tutoriels

exemple

Mask R-CNN Image Segmentation Demo
This Colab enables you to use a Mask R-CNN model that was trained on Cloud TPU to perform instance segmentation on a sample input image. The resulting predictions are overlayed on the sample image as boxes, instance masks, and labels. You can also experiment with your own images by editing the input image URL.

About Mask R-CNN
The Mask R-CNN model addresses one of the most difficult computer vision challenges: image segmentation. Image segmentation is the task of detecting and distinguishing multiple objects within a single image. In particular, Mask R-CNN performs "instance segmentation," which means that different instances of the same type of object in the input image, for example, car, should be assigned distinct labels.
COCO index mapping
ID_MAPPING = {
    1: 'person',
    2: 'bicycle',
    3: 'car',
    4: 'motorcycle',
    5: 'airplane',
    6: 'bus',
    7: 'train',
    8: 'truck',
    9: 'boat',
    10: 'traffic light',....


Sunday, July 23, 2017

alternatives open free à adobe première. Liste et comparaison pour mélanger video (y compris AVCHD) et photo et music.


Intro

l'excellent VLC hélas n'est qu'un player. On l'utilisera pour visualiser le résulat final.

besoins

Je veux un éditeur/publisher qui mixe image et video pour faire ce job:
j'ai bcp de video et photo sur mon portable ou mon téléphone et je veux faire une seulz video avec un son per exemple une chanson ou en gardant le son des video.

Je veux faire des captures d'écran et enregistrer du son puis faire une video... (voir les options des éditeurs).

Import image sequences from your camera to create a cartoon frame by frame. Then, export as an animated GIF or share on YouTube.

info

En sept 2017 google "tue" ses outils youTube de l'éditeur de vidéo et du diaporama "intégré".
https://www.engadget.com/2017/07/21/youtube-kills-the-video-editing-tools-you-never-used/
L'édition vidéo sur Internet est lente par rapport aux applications natives, car il faut télécharger (upload) votre vidéo puis télécharger (down) la copie finale. Cela dit, c'était une bonne option pour les utilisateurs ou les utilisateurs de Chromebook avec des ordinateurs portables ou des tablettes peu puissantes.

Si vous êtes prêt à payer et que vous disposez d'un PC ou d'un Mac approprié, d'autres applications autonomes incluent
Adobe Premiere CC,
Final Cut Pro X d'Apple pour Mac uniquement
Media Composer professionnel d'Avid. Avid a également une application gratuite appelée Media Composer First,

Apple a iMovie pour Mac et iMovie et Clips pour iOS,
tandis que Microsoft possède Movie Maker pour Windows.
Si vous voulez juste un éditeur Web, il existe des options comme Magisto et WeVideo qui fonctionnent sur la plupart des navigateurs, y compris le navigateur Chrome sur Chromebook.

But

ce post va traiter des offres "libre et open".

Une comparaison
https://en.wikipedia.org/wiki/Comparison_of_video_editing_software

Il faut aussi vérifier si le logiciel prend en charge vos fichiers comme AVCHD (Advanced Video Codec High Definition). voir une liste de soft d'édition qui prend en charge ce format:
https://fr.wikipedia.org/wiki/Advanced_Video_Codec_High_Definition

Les aggrégateurs photo video avec schémas

avant d'aborder les "premières"-light, qq nouveaux softs de 2017 pour aller vite dans la production de video à partir d'un stock de media.

quik de goPro

que iphone/ipad and android

clips d'Apple

que iphone/ipad 
The app allows users to combine videos, images and music into one seamless video ready to be shared not only via the likes of Facebook, Twitter and Instagram, but also via iMessage too.
It sits somewhere between the video generator baked into the Photos app in iOS 10 and iMovie for iOS, which is regarded as being a high-end video editing app (in terms of smartphone apps, anyway!).
Clips is a new app for making fun videos to share with friends, family and the world. With a few taps, you can create and send a video message or tell a quick story with animated text, graphics and emoji, music and more. 

Videos made easy
•    Clips lets you create videos in real time using simple controls — no timeline, tracks or complicated editing tools
•    Shoot live video and photos or add them from your library
•    Easily mute audio, and adjust the length of your clips and reorder them
•    Clips looks and works great on iPhone, iPad and iPod touch

Live Titles
•    Create animated titles and captions using just your voice
•    Captions are generated automatically as you speak and match the timing of your voiceover
•    Mix and match different styles throughout your video
•    Tap your title to adjust text and punctuation or add inline emoji 

Fun effects
•    Give your photos and video clips a comic book look with colour and black & white filters
•    Drop in animated speech bubbles, arrows and banners
•    Add emoji on top of any photo or video clip
•    Use full-screen posters with animated backgrounds and customisable text to help tell your story
• Drag and pinch while recording to add smooth pan and zoom animations to your photos and videos
•    Add a music track from your library or use built-in soundtracks that automatically adjust to the length of your video

Smart sharing
•    Clips suggests people to share with based on who is in your video and who you share with most often
•    Tap a person in the share sheet to instantly send your video via Messages
•    Send directly to Instagram, Facebook, YouTube and other popular social media sites

Apple Web SiteClips SupportApplication Licence Agreement

What's New in Version 1.1 (07/2017)
• Customise your videos with animated Disney graphics featuring Mickey, Minnie and more
• Add Pixar graphics to your videos with characters from Toy Story and Inside Out
• Choose from dozens of new customisable text banners, overlays and posters

vimeo tools

wevideo

web services & que iphone/ipad and android and win 10

Storyo

Storyo creates stories automatically based on the metadata in your photos (like time and location) along with other bits and pieces of information it harvests online, like maps. It brings photos and data together in beautifully simple video-stories, called storyos.
Automated Storytelling
A single photo or simple sequence of shots just doesn’t do your most magnificent moments justice. That’s why we’ve designed an intelligent algorithm that organizes photos in chapters according to when and where great times took place. The result is a true-to-life story told in narrative form – from fabulous beginning to fantastic end.
But it’s your story, so feel free to tweak it until you love it - add or delete photos, change its length, play around with filters, or switch the soundtrack to a song from your own music library.
https://www.storyoapp.com/

OpenShot

OpenShot Video Editor est un éditeur vidéo non-linéaire libre pour GNU/Linux, construit avec Python, GTK+, et le framework MLT (Media Lovin' Toolkit (en)). Il intègre le moteur Blender pour créer des titres et effets (feux d’artifices, jeux de lumières, neige, mappemonde animée) évolués.
AVCHD (Advanced Video Codec High Definition)  OK
Linux, Mac, and Windows.
http://www.openshot.org/
https://en.wikipedia.org/wiki/OpenShot

Kdenlive 

https://kdenlive.org/
https://en.wikipedia.org/wiki/Kdenlive
https://kdenlive.org/toolbox/
FreeBSD, Linux, Windows,
OSX: Kdenlive and MLT can compile and run under Mac OS X. Packages are available from the MacPorts project, unfortunately they are outdated.

Shotcut

FreeBSD, Linux, OS X, Microsoft Windows

VideoPad Video Editor

Video Editing Software 
Windows XP/Vista/7/8/8.1/10
Works on Mac OS X 10.5 and above
Android version runs on 2.3.3 or higher

-un des processeurs de streaming vidéo les plus rapides du marché.
-effets sonores de la sonothèque gratuite

http://www.nchsoftware.com/videopad/index.html

photofilmstrip

PhotoFilmStrip creates movies out of your pictures in just 3 steps. First select your photos, customize the motion path and render the video. There are several output possibilities for VCD, SVCD, DVD up to FULL-HD.
The effect of the slideshow is known as "Ken Burns". Comments of the pictures are generated into a subtitle file. Furthermore an audio file can be specified to setup the background music for the slide show.
In contrary to other projects i know so far, PhotoFilmStrip has the opportunity to render slide show in Full-HD (1920x1080) resolution.

GUI or command line interface for batch processing
python
Win, GNU-linux

http://www.photofilmstrip.org/1-1-Home.html

Thursday, July 20, 2017

HUB text/PAO une syntaxe pour différentes cibles input et output (backends, targets ou writers), de manière à obtenir du HTML du LaTeX, page de man: pandoc


hexadécimal

Au départ si on a que du texte sans mise en forme, on peut écrire en hexadécimal comme dans ma jeunesse des années 70 (en ASCII ou étendue pour les caractères français par exemple). Il suffisait de connaitre par coeur la table ASCII de 128 correspondances qui est une norme informatique de codage de caractères des années 60. Et tout cela avec un clavier de 0-9 et A-F soit 16 touches (même pas une touche carriage return  car c'est le code #D ni même une touche espace car c'est #20)!
http://ascii.cl/
Et pour l'histoire:
https://fr.wikipedia.org/wiki/American_Standard_Code_for_Information_Interchange

C'était clair, il y avait celui qui tapait ses idées au kilomètre puis celui qui mettait en forme.

que du text mis en forme (et un peu de "PAO") et comparaison des softs

Si on a que text (par exemple ASCII ou UTF-8) c'est assez simple.
Avec du balisage léger et des transcodeurs, on a du Hub-text.
voir une liste partielle des output formats:
https://en.wikipedia.org/wiki/Lightweight_markup_language

https://en.wikipedia.org/wiki/Comparison_of_document_markup_languages

https://en.wikipedia.org/wiki/Comparison_of_documentation_generators
(and  programming languages).
example: ROBODoc is a documentation tool similar to Javadoc and licensed under the GPL. It is used to extract API documentation from source code. It can be used with any language that supports comments and works by extracting specially formatted headers. These are then reformatted into HTML, DocBook, TROFF, ASCII, LaTeX, PDF, or RTF.
It can be used to document any programming artifact, such as: classes, functions, tests, makefile entries, etc.
ROBODoc works with C, C++, Fortran, Perl, shell scripts, Assembler, DCL, DB/C, Tcl/Tk, Forth, Lisp, COBOL, Occam, Basic, HTML, Clarion, and any other language that supports comments.
https://en.wikipedia.org/wiki/ROBODoc


Une analyse que je partage

Comparaison des langages de balisage (markup) léger (lightweight) : Txt2tags, Pandoc, Docutils, AsciiDoc, Deplate, Stx2any, AFT, Markdown et Textile:
http://fgallaire.flext.net/comparaison-langage-balisage-markup-lightweight-leger-txt2tags-pandoc-docutils-asciidoc-deplate-stx2any-aft-markdown-textile/

La bureautique est la principale utilisation de l’informatique depuis sa création. Pourtant, les outils majoritairement utilisés dans ce domaine, les logiciels de traitement de texte WYSIWYG comme LibreOffice ou MS word, laissent la majorité des informaticiens et des ergonomes totalement désespérés.
Ces logiciels ont en effet un nombre de défauts très important : ils font se concentrer sur la forme et non sur le fond, leur résultat final ne correspond souvent pas à ce qui est affiché, ils sont incompatibles entre eux, ce sont d’énormes usines à gaz, ils ne fonctionnent qu’en mode graphique, etc.

Il a donc fallu penser à une manière de donner ces instructions de mise en forme au sein du fichier texte lui-même, et c’est ainsi que sont apparus les langages de balisage (markup), dont les plus connus sont HTML (inventé en 1991 par Tim Berners-Lee) et LaTeX (créé en 1985, et basé sur TeX, inventé par le grand Donald Knuth en 1977), et dont la première grande figure fut Roff, un programme Unix historique développé à partir de 1961, et dont la version GNU, Groff, est installée par défaut sur toutes les distributions GNU/Linux, puisqu’on l’utilise encore pour les pages de man des logiciels.

Ces langages représentent une nette amélioration, mais ont tous un gros problème : ils sont gênants ! On ne retrouve plus aussi facilement son contenu au milieu de toutes ces balises supplémentaires, sans parler du fait que les syntaxes complexes ouvrent la voie à de nombreuses erreurs de compilation.

C’est en 1995 que l’on trouva la solution de ce problème, avec la création du premier langage Wiki, dont le but principal était de permettre l’édition facile de pages web par tout un chacun, et dont l’utilisateur actuel le plus célèbre est l’encyclopédie libre Wikipédia. S’il y a presque autant de syntaxes différentes que de logiciels Wiki, elles ont toutes la caractéristique d’utiliser des caractères textuels simples et intuitifs pour donner les indications de formatage du texte.
http://www.wikicreole.org/wiki/Reasoning

https://www.mediawiki.org/wiki/Help:Formatting
https://fr.wikipedia.org/wiki/Aide:Syntaxe_(wikicode)
https://fr.wikipedia.org/wiki/Aide:Ins%C3%A9rer_un_tableau_(wikicode,_avanc%C3%A9)
https://fr.wikipedia.org/wiki/Mod%C3%A8le:BUtilisateur
https://www.mediawiki.org/wiki/MediaWiki/fr

J'ai toujours aimé le principe du "folding editor".
le premier fut STET  'STructured Editing Tool' de 1977
https://en.wikipedia.org/wiki/STET_(text_editor)
A folding editor is a text editor which supports text folding or code folding, a mechanism allowing the user to hide and reveal blocks of text—usually named. Typically this is done to allow the user to better picture the overall structure of a document or program.
Folding is provided by many modern text editors, and syntax-based or semantics-based folding is now a component of many software development environments...
https://en.wikipedia.org/wiki/Folding_editor


Mais pourquoi limiter ces langages de balisage léger à la seule génération de HTML ? Pourquoi ne pas utiliser la même syntaxe pour différentes cibles (appelées backends, targets ou writers selon les logiciels), de manière à obtenir aussi bien une page web en HTML, qu’un document en LaTeX pour l’impression, ou qu’une page de man pour un logiciel ? Ce sont les logiciels qui poursuivent ce but qui m’intéressent, ils constituent pour moi l’avenir de la bureautique informatique, et j’ai été amené à les comparer pour en choisir un dans lequel m’investir comme développeur.

Trois d’entre eux, Docutils, Deplate et Pandoc, ont un design évolué, avec une machine à états finis pour laquelle on peut écrire de nouveaux readers et writers de manière parfaitement propre. Cependant, malgré leurs grandes qualités, Deplate est un projet trop confidentiel (ainsi il n’est incompréhensiblement pas présent parmi les pourtant si nombreux paquets Debian), et je ne me sentais pas à la hauteur pour m’investir dans un projet comme Pandoc, totalement écrit en Haskell, qui est un langage de programmation complexe que j’aimerais beaucoup utiliser.
Je détaillerai Pandoc ci-dessous.

Txt2tags

J’ai rajouté dans ce comparatif Markdown et Textile, puisqu’ils ont chacun une implémentation en Python, mais ne générant que du HTML, ils ne m’intéressaient pas vraiment. AsciiDoc et Txt2tags ont un peu la même architecture, avec un gros fichier principal faisant tout le travail, que l’on peut configurer, respectivement avec un fichier .conf et deux dictionnaires Python (un pour les Tags et l’autre pour les Rules), pour créer de nouvelles cibles. AsciiDoc et Txt2tags sont donc plus aisés à prendre en main et à modifier rapidement que Docutils, qui est une très belle et très bien architecturée machine à états objet, mais aussi plus difficile à appréhender.
De plus, comme je désapprouvais totalement la politique de licence domaine publique de Docutils, il ne me restait plus qu’à faire mon choix entre Txt2tags et AsciiDoc. C’est principalement l’orientation très DocBook (un format ne m’intéressant personnellement pas du tout) d’AsciiDoc, et d’autres détails, comme la localisation en de nombreuses langues de Txt2tags et sa plus grande simplicité, qui m’ont finalement fait choisir Txt2tags.

Ce choix est confirmé par une étude plus avancée des différentes syntaxes. Ainsi alors que la syntaxe reST de Docutils ne dispose que de :

*italique* et **gras**

Txt2tags est beaucoup plus riche :

//italique// **gras** __souligné__ et --barré--

Le codage visuel est bien meilleur, et le compréhension instantanée avec la syntaxe de Txt2tags, puisque les slashs donnent l’impression penchée de l’italique, les étoiles imitent la surcharge du gras, les underscores donnent l’impression de soulignement, et les moins apparaissent comme une barre. De plus, l’utilisation généralisée des caractères de balisage en doubles, permet de lever à peu de frais un maximum d’ambiguïtés syntaxiques.

insertion d'une image est beaucoup plus simple Txt2tags
[[picture.png] http://fgallaire.flext.net]

Leur implémentation en Python permet à Txt2tags, reST (par Docutils) et AsciiDoc d’être utilisables à la fois comme logiciels de bureautique multiplateforme (Linux, Mac OS X, Windows et *BSD) et pour le web côté serveur. Depuis 2012, une implémentation de txt2tags en PHP est disponible, développée par Petko Yotov (le mainteneur et principal développeur de PmWiki) et sponsorisée par Eric Forgeot. Grâce aux nombreux efforts de ce dernier, il existe maintenant plusieurs implémentations de la syntaxe Txt2tags en JavaScript, avec une démo parfaitement fonctionnelle des possibilités de rendu côté client en temps réel. Et Matthew Pickering a quant à lui écrit un reader Txt2tags pour Pandoc.
En face, Markdown est représenté par une armada d’implémentations dans tous les langages utilisés sur le web côté serveur, et aussi en JavaScript côté client pour des prévisualisations efficaces sans Ajax, mais seul Pandoc, qui n’est pas si facile à compiler sur toutes les plateformes, propose autre chose qu’un rendu en HTML.
Je vais bien sûr continuer à travailler sur le logiciel Txt2tags, mais une implémentation de la syntaxe Txt2tags dans un parser Docutils, pour toucher directement toute la communauté des développeurs Python qui documentent leurs projets, et pouvoir bénéficier ensuite du sublime Sphinx, est un projet qui me motive de plus en plus.
Enfin, je suis toujours un peu nostalgique devant ce screenshot, parce que c’est en le voyant, avec en haut à gauche le fichier avec les balises, et en bas à droite celui avec le résultat texte brut, que j’ai pris conscience que Txt2tags faisait bien ce que j’espérais, et que comme en plus il était en Python, ce serait probablement le logiciel auquel j’allais contribuer !

Pandoc

Pandoc is a command-line tool. There is no graphic user interface. 
Pandoc is a Haskell library for converting from one markup format to another, and a command-line tool that uses this library. It can read MarkdownCommonMarkPHP Markdown ExtraGitHub-Flavored MarkdownMultiMarkdown, and (subsets of) TextilereStructuredTextHTMLLaTeXMediaWiki markupTWiki markupHaddock markupOPMLEmacs Org modeDocBookMusetxt2tagsVimwikiEPUBODT, and Word docx; and it can write plain text, MarkdownCommonMarkPHP Markdown ExtraGitHub-Flavored MarkdownMultiMarkdownreStructuredTextXHTMLHTML5LaTeX (including beamer slide shows), ConTeXtRTFOPMLDocBookOpenDocumentODTWord docxGNU TexinfoMediaWiki markupDokuWiki markupZimWiki markupHaddock markupEPUB (v2 or v3), FictionBook2Textilegroff man, [groff ms], Emacs Org modeAsciiDocInDesign ICMLTEI SimpleMuse and SlidySlideousDZSlidesreveal.js or S5 HTML slide shows. It can also produce PDF output on systems where LaTeX, ConTeXt, pdfroff, or wkhtmltopdf is installed.
Pandoc's enhanced version of Markdown includes syntax for footnotestables, flexible ordered listsdefinition listsfenced code blockssuperscripts and subscriptsstrikeoutmetadata blocks, automatic tables of contents, embedded LaTeX mathcitations, and [Markdown inside HTML block elements][Extension: markdown_in_html_blocks]. (These enhancements, described further under Pandoc's Markdown, can be disabled using the markdown_strict input or output format.)
In contrast to most existing tools for converting Markdown to HTML, which use regex substitutions, pandoc has a modular design: it consists of a set of readers, which parse text in a given format and produce a native representation of the document, and a set of writers, which convert this native representation into a target format. Thus, adding an input or output format requires only adding a reader or writer.
Because pandoc's intermediate representation of a document is less expressive than many of the formats it converts between, one should not expect perfect conversions between every format and every other. Pandoc attempts to preserve the structural elements of a document, but not formatting details such as margin size. And some document elements, such as complex tables, may not fit into pandoc's simple document model. While conversions from pandoc's Markdown to all formats aspire to be perfect, conversions from formats more expressive than pandoc's Markdown can be expected to be lossy.
This document is for people who are unfamiliar with command line tools. Command-line experts can go straight to the User’s Guide or the pandoc man page:

Modules 

In contrast to most existing tools for converting Markdown to HTML, pandoc has a modular design: it consists of a set of readers, which parse text in a given format and produce a native representation of the document, and a set of writers, which convert this native representation into a target format. Thus, adding an input or output format requires only adding a reader or writer.

Ref.

Pandoc’s enhanced version of Markdown 

Pandoc’s enhanced version of Markdown includes syntax for footnotes, tables, flexible ordered lists, definition lists, fenced code blocks, superscripts and subscripts, strikeout, metadata blocks, automatic tables of contents, embedded LaTeX math, citations, and Markdown inside HTML block elements. (These enhancements, described further under Pandoc’s Markdown, can be disabled using the markdown_strict input or output format.)

Tricks

you have a long markdown file in GitHub and want to have a TOC, you can use 
pandoc -t markdown_github --toc -o example-with-toc.md example.md

Using Markdown Templates

Math in Pure Markdown


Monday, March 13, 2017

dissemin impactstory web service déposer sur des archives ouvertes Zenodo HAL



Dissemin est à comparer à https://impactstory.org/
qui lui ne propose que de relier vos références (qu'il trouve) à des liens URL (No free fulltext anywhere? Consider uploading this work to an open repository like Zenodo or Figshare.)
Dissemin vous aide à trouver et à uploader.
Dissemin http://dissem.in/

C'est un web service encourageant les chercheurs à diffuser leurs publications librement.
Dissemin propose une plateforme web qui récolte des métadonnées à partir de différentes sources et qui détermine la disponibilité du texte intégral des publications des chercheurs. Il a été conçu pour encourager l'usage des dépôts (plutôt que les pages personnelles).

Les chercheurs ont souvent le droit de mettre leurs articles en accès libre sur le Web, pour compléter la version payante proposée par les éditeurs traditionnels. Pourtant, tous ne le font pas.

À cause de cela, les bibliothèques doivent payer à prix d'or des abonnements électroniques aux journaux de recherche, ce qui grève leurs finances et limite leur offre.

C'est déjà bien de mettre vos articles en ligne sur votre page Web, mais ce n'est pas suffisant ! De telles copies sont moins pérennes et plus difficiles à trouver que celles qui sont déposées dans des dépôts bien indexés.

Dissemin cherche des copies de vos articles dans une grande collection de dépôts ouverts en ligne, et vous indique ceux qu'il n'a pas pu trouver de cette façon.

Il propose aussi le service de chercher les références dans wikipedia et de les lier à des documents open access dans des archives ouvertes.

Quand nous l'avons trouvé dans l'un des dépôts que nous parcourons. La liste de ces dépôts est à voir ci-dessous.

Sources primaires


  • CrossRef.org
  • BASE (Bielefeld Academic Search Engine); grâce au moteur de recherche BASE, nous avons accès à plus de 80 millions de ref.
  • SHERPA/RoMEO
  • Zotero

Sources secondaires

Moissonnées avec le protocole OAI-PMH.

  • arXiv
  • HAL
  • PubMed Central
  • OpenAIRE
  • DOAJ
  • Persée
  • Cairn.info
  • Numdam

http://dissem.in/sources

Quelques personnes ont créé une associations 'CAPSH' qui gère certains aspects de dissemin:
CAPSH (Committee for the Accessibility of Publications in Sciences and Humanities) is a French nonprofit association promoting the open access to academic publications. It is in charge of the Dissemin project.

Liste des présentation à des congrès conf:

https://association.dissem.in/index.html.fr

process

On se connecte avec son ORCID id à
http://dissem.in/

Il trouve les fichiers et les classe suivant l'accord avec l'éditeur.
Puis il permet de faire de l'upload vers ZENODO (avec peu de metadata)
(et aussi vers HAL voir ci-dessous).

Le site a aussi une fonction "profile" qui liste vos file et vos dépôt (upload).

FAQ


Documentation

Les dépôts

Quel dépôt utiliser ?
Il y a en gros trois types de dépôts :
Les dépôts thématiques, qui se limitent à certains domaines précis, comme arXiv.
Les dépôts institutionnels, dédiés à l'archivage de la production scientifique d'une institution ou d'un pays.
Les dépôts académiques génériques comme Zenodo, dont le périmètre n'est limité qu'aux données issues de la recherche.
Si votre communauté scientifique préfère un dépôt thématique particulier, il vaut mieux l'utiliser afin d'améliorer votre visibilité. Dans le cas contraire, les dépôts institutionnels ou génériques sont également une option raisonnable.

ZENODO HAL 

Pourquoi ne puis-je pas déposer dans mon dépôt favori pour l'instant ?

Pour l'instant, nous vous proposons seulement de déposer vos articles dans les dépôts suivants :
  • Zenodo, un dépôt innovant soutenu par l'UE.
  • HAL, un dépôt français géré par le CCSD
Pour proposer davantage de dépôts, il faut que nous écrivions du code spécifique à chaque dépôt, mais il faut surtout que ces dépôts nous donnent l'autorisation de déposer des papiers en masse. Nous avons envisagé d'intégrer les dépôts suivants :
arXiv, un dépôt généraliste bien connu. Pour l'instant, arXiv n'autorise pas Dissemin à déposer en utilisant leur API SWORD, et demande aux utilisateurs de déposer dans arXiv manuellement. Si vous voudriez utiliser Dissemin pour déposer vos articles dans arXiv, n'hésitez pas à les contacter.

CCSD HAL

Il permet à chaque chercheur de mesurer l’accessibilité de ses publications et de mettre en ligne en quelques clics celles qui ne sont pas déjà librement disponibles. Plus besoin de saisir manuellement les métadonnées (titre, auteurs ou identifiants variés) : celles-ci sont automatiquement renseignées par Dissemin.
Cette fonctionnalité est rendue possible par l’exploitation de deux sources de données : le Bielefeld Academic Search Engine (BASE) et Crossref, qui couvrent presque 100 millions de publications.

Jusqu’à présent, les documents ainsi rendus librement accessibles étaient hébergés par Zenodo, un dépôt appartenant au CERN. Les chercheurs de toutes disciplines souhaitant déposer dans HAL peuvent désormais aussi utiliser Dissemin comme canal de dépôt depuis début 2017.

Dissemin utilise l’import SWORD pour déposer les publications. Celles-ci suivent le parcours classique de vérification avant d’être mises en ligne.  Les dépôts effectués par Dissemin seront rattachés au compte utilisateur de l’auteur dans HAL à partir de l’identifiant ORCID. Pour cela il faudra juste que l’auteur ait associé son compte HAL avec son ORCID.
Cette réalisation est le fruit d’un partenariat entre le Consortium Couperin, le CCSD, et le CAPSH, qui développe Dissemin.
https://www.ccsd.cnrs.fr/2017/03/deposer-dans-hal-avec-dissemin/

GitHub

Le code source est sur GitHub
python
https://github.com/dissemin/dissemin

Puis-je récolter vos données ?

Oui ! Nous avons même une API. Si vous n'êtes pas satisfait par ce qu'elle propose, n'hésitez pas à nous contacter.
http://dev.dissem.in/#api

Monday, March 6, 2017

installing Python 3 on Mac OS X >sierra


Installing Python 3 on Mac OS X
The latest version of Mac OS X, Sierra, comes with Python 2.7 out of the box.
->Terminal ->python
Python 2.7.10 (default, Jul 30 2016, 19:40:32) 

[GCC 4.2.1 Compatible Apple LLVM 8.0.0 (clang-800.0.34)] on darwin

You do not need to install or configure anything else to use Python 2. These instructions document the installation of Python 3.

The version of Python that ships with OS X is great for learning but it’s not good for development. The version shipped with OS X may be out of date from the official current Python release, which is considered the stable production version.
http://docs.python-guide.org/en/latest/starting/install3/osx/#install3-osx


Upload a PDF and publish with many metadata to ZENODO. JSON template.



For a long introduction see
http://stephane-mottin.blogspot.fr/2017/01/zenodo-github-research-data-repository.html
see also the posts with the tag "zenodo"

Here we will focus on the process and on the metadata.

4 methods
  • manual
  • python or cURL
  • tools

manual via upload user interface

Invenio and Zenodo uses the tool "json editor"
  https://github.com/jdorn/json-editor


11 fields

  1. Upload type 
    1. Book section 
    2. ... Journal article, etc
  2. Basic Info
    1. date
    2. Title
    3. Authors (one by one)!!!
    4. Description (only text (and math formula) without link!!!)
      https://zenodo.org/dev#collapse-list16
      description String Abstract or description for deposition.
      Following HTML tags are allowed: a, p, br, blockquote, strong, b, u, i, em, ul, ol, li, sub, sup, div, strike.
    5. Keyword
    6. Additional notes, for example sommaire
  3. License
    1. Open
    2. CC 4.0; you must add its category
  4. Communities
    1. integrations (for example)
  5. Funding
    1. CNRS (for exemple)
  6. related/alt identif
    1. ISSN, ISBN, URL
  7. Contributors for example the dir of collection
  8. reference
    witch appear on the bottom of the page
  9. journal
  10. c
  11. Book
    1. Publisher
    2. Place
    3. ISBN
    4. Book Title
    5. Page (of this book)

METADATA


schema JSON ZENODO

description Abstract or description for deposition. 

Following HTML tags are allowed: 
a, p, br, blockquote, strong, b, u, i, em, ul, ol, li, sub, sup, div, strike.

<ul>
  <li>prem</li>
  <li>second</li>
  <li>thrird</li>
</ul>

En outre attention à ce que votre texte ne contienne pas de ' ou de " comme  d'avantage ;)

code GitHub

code analyse metadata

python or cURL

Create a new deposition resource with cURL

http://developers.zenodo.org/?shell#list
curl -i -H "Content-Type: application/json" -X POST
     --data '{"metadata": {"title": "My first upload", "upload_type": "poster", "description": "This is my first upload", "creators": [{"name": "Doe, John", "affiliation": "Zenodo"}]}}' /api/deposit/depositions/?access_token=ACCESS_TOKEN


other example:
curl -i -H "Content-Type: application/json" -X POST --data '{"metadata":{"access_right": "open","creators": [{"affiliation": "Brain Catalogue", "name": "Toro, Roberto"}],"description": "Brain MRI","keywords": ["MRI", "Brain"],"license": "cc-by-nc-4.0", "title": "Brain MRI", "upload_type": "dataset"}}' https://zenodo.org/api/deposit/depositions/?access_token=$token |tee zenodo.json

http://siphonophore.org/blog/2016/01/16/at-brain-catalogue-we-love-zenodo/

curl  is  a  tool  to transfer data from or to a server, using one of the supported protocols
       (DICT, FILE, FTP, FTPS, GOPHER, HTTP, HTTPS, IMAP, IMAPS, LDAP,  LDAPS,  POP3,  POP3S,  RTMP, RTSP,  SCP,  SFTP,  SMB, SMBS, SMTP, SMTPS, TELNET and TFTP).
The command is designed to work without user interaction.

Create a new deposition resource with python

It's easier to publish with python:
http://developers.zenodo.org/?python#quickstart-upload
This short guide will give a quick overview of how to upload and publish on Zenodo, and will be using Python together with the Requests package.

more info

http://zenodo.readthedocs.io/en/latest/api/records.html
http://zenodo.readthedocs.io/en/latest/api/deposit.html

Testing

We provide a sandbox environment where you can test your API integration during development. The sandbox environment is available at http://sandbox.zenodo.org.

Please note that the sandbox environment can be cleaned at anytime. Also, the sandbox environment will issue test DOIs using the 10.5072 prefix instead of Zenodo’s normal prefix (10.5281).


Tools Zenodio

Zenodo I/O
Zenodio is a simple Python interface for getting data into and out of Zenodo, the digital archive developed by CERN. Zenodo is an awesome tool for scientists to archive the products of research, including datasets, codes, and documents. Zenodio adds a layer of mechanization to Zenodo, allowing you to grab metadata about records in a Zenodo collection, or upload new artifacts to Zenodo with a smart Python API.

We’re still designing the upload API, but metadata harvesting is ready to go.

The zenodio.metadata sub package provides a Python representation of Zenodo metadata (but not File or Zenodo deposition metadata).

https://github.com/lsst-sqre/zenodio/tree/metadata_api
http://zenodio.lsst.io/en/latest/
https://jira.lsstcorp.org/browse/DM-4852

Python template

zenodo JSON format
example for a book section (in french).

see the details of each field

see how to use at

see the page of this record:

JSON


data = {'metadata':{'upload_type': 'publication','publication_type': 'section','title': 'Introduction au dimensionnement', 'creators': [{'name': 'Pádua, Agílio'}],'partof_pages':'17-25','contributors': [{'name': 'Boissinot, Patrick ', 'type': 'DataCollector'},{'name': 'Langlois, Patrick ', 'type': 'DataCollector'},{'name': 'Pádua, Agílio', 'type': 'DataCollector'},{'name':'Lelièvre, Gérard', 'affiliation': 'CNRS', 'type': 'Editor'},{'name':'Mottin, Stéphane', 'affiliation': 'CNRS', 'type': 'Editor', 'orcid': '0000-0002-7088-4353'},{'name':'Mottin, Stéphane', 'affiliation': 'CNRS', 'type': 'RightsHolder', 'orcid': '0000-0002-7088-4353'}],'notes': ' licence CC-BY-NC-ND; Ce volume est une 3ième édition. Collection -- Intégrations des savoirs et savoir faire-- dirigée par Stéphane MOTTIN; http://www.sudoc.fr/155436619 (voir SUDOC pour trouver cet ouvrage en bibliothèque); ce PDF contient des metadata bibliographiques directement utilisables par exemple par Jabref (logiciel open source pour bibTeX). Ce PDF est structuré.','partof_title': 'Matériaux et joints d étanchéité pour les hautes pressions','publication_date': '2011-04-15','description': ' <b>  Sommaire de ce volume 18 de la Collection Intégrations des savoirs et savoir faire </b> <ul> <li>Préface / Dominique Leguillon</li><li>P. 13; Introduction générale / Patrick Boissinot, Patrick Langlois, Agílio A.H. Pádua</li><li>P. 17; Introduction au dimensionnement / Agílio A.H. Pádua; <br /> 1 Définition du problème; 2 Dimensionnement; 3 Obturateurs; 4 Conclusion</li><li>P. 27; Frettage et autofrettage / Patrick Langlois;<br /> 1 Considérations préliminaires au frettage; 2 Frettage d une enceinte bibloc; 3 Frettage d une enceinte multibloc; 4 Formulation de l autofrettage; 5 Modes de réalisation de l autofrettage; 6 Conclusion</li><li>P. 51; Méthodes d éléments finis en calcul de structures élastiques / Joël Frelat;<br /> 1 Introduction; 2 Rappel de la formule théorique; 3 Formulation variationnelle; 4 Formulation numérique; 5 Etapes d une mise en oeuvre pratique; 6 Conclusion Extension aux problèmes non linéaires</li><li>P. 61; Les matériaux sidérurgiques et les hautes pressions / Jean-Paul Dichtel; <br /> 1 Caractérisation mécanique des aciers; 2 Métallurgie des aciers et superalliages; 3 Commentaires : la Directive Européenne Appareils à Pression</li><li>P. 73; Les métaux non ferreux Alliage cuivre-béryllium et titane / Jean-Pierre Petitet; <br /> 1 Introduction; 2 Le cuivre-béryllium; 3 Le titane</li><li>P. 81; Les Carbures cémentés WC-Co / Emmanuel Pauty;<br />  1 Les procédés de fabrication; 2 Les propriétés des carbures cémentés; 3 Conclusions</li><li>P. 95; Choix et usinage des carbures de tungstène / Jacques Calzas;<br />  1 Choix des carbures de tungstène; 2 Usinage du carbure de tungstène</li><li>P. 107; Céramiques et matériaux pour l optique / Jean-Claude Chervin;<br />  1 Céramiques; 2 Matériaux pour l optique</li><li>P. 137; Types de joints et de montage / Roger Argoud et Jacques Roux;<br />  1 Introduction; 2 Généralités; 3 Joints à basse pression; 4 Joints cône sur cône; 5 Joints Bridgman Champignon; 6 Joints annulaires auto-serrés; 7 Joints coniques d Amagat; 8 Autres joints; 9 Conclusion</li><li>P. 157; Joints hautes pressions pour la compression de gros volumes solides / Sylvie Le Floch;<br />  1 Joints solides utilisés dans les différents types d enceintes hautes pressions; 2 Matières premières des joints; 3 Assemblages HP-HT</li><li>P. 169; Le matériel standard / Jean-Pierre Petitet;<br />  1 Tubes, conduites et raccords; 2 Les vannes; 3 Quelques types d enceintes commercialisées; 4 Les générateurs de pression; 5 Le matériel moins standard</li><li>P. 183; Assemblages haute pression / Gérard Hamel;<br />  1 Montage des raccords de pressions; 2 Montage de quelques passages électriques; 3 Les passages de thermocouple; 4 Les passages optiques, montage des fenêtres; 5 Montage des joints et des obturateurs sur une cellule haute pression</li><li>P. 193; Usinage / Jean-Pierre Michel;<br />  1 Introduction; 2 Les joints de faible épaisseur; 3 Les bagues anti-extrusion à 45; 4 Les joints à 45; 5 Les joints  double Bridgman ; 6 Les joints plats en élastomères; 7 Les joints en indium (étanchéité en hélium et azote liquide; 8 Joints métal-métal type Lens ring; 9 Les passages du courant; 10 Usinage de matériaux exotiques</li><li>P. 207; Les règles de sécurité / Patrick Boissinot;<br />  1 Dangers présentés par les appareils à pression; 2 Appareils à pression rencontrés dans les laboratoires et facteurs de risques; 3 Principes généraux de prévention et réglementation; 4 Moyens de protection; 5 Conclusion</li> </ul> ','keywords': ['Hautes pressions - Matériaux', 'Joints d étanchéité', 'Matériaux - Effets des hautes pressions'],'imprint_isbn': '2862723304','subjects': [{'term': ' Physical sciences ', 'identifier': ' http://id.loc.gov/authorities/subjects/sh89005705.html ', 'scheme': 'url'}],'related_identifiers': [{'relation': 'isCitedBy', 'identifier': 'http://www.sudoc.fr/078023866'}, {'relation': 'isCitedBy', 'identifier': 'https://hal.archives-ouvertes.fr/INTEGRATIONS/page/materiaux-et-joints-etancheite-pour-les-hautes-pressions'}],'communities': [{'identifier':'integrations'}],'access_right': 'open','license': 'cc-by-nc-4.0', 'imprint_publisher': 'MRCT-CNRS','imprint_place': 'Meudon, France',}}